Cómo conseguir que Pandas itere más rápido, hasta 375 veces

A pesar de que Python se uno de los lenguajes más populares para el tratamiento de datos no es el más rápido. Tanto Julia como JavaScript puede llegar a ser órdenes de magnitud más rápido. Por eso, cualquier truco que nos permita reducir el tiempo de ejecución de nuestro código es de agradecer. En esta entrada vamos a comparar diferentes métodos de iteración en dataframe Pandas para ver cual es el más rápido. Así seleccionando el mejor método se podrá conseguir que Pandas itere más rápido, hasta 375 veces.

Planteamiento del problema

Vamos a plantear un problema sencillo, sumar los valores de un DataFrame. Para ello crearemos un DataFrame con una columna aleatoria, la cual sumaremos utilizando diferentes técnicas. El código para generar el DataFrame puede ser como el siguiente.

import numpy as np
import pandas as pd

np.random.rand(0)

df = pd.DataFrame(data={'Values' : np.random.rand(250000)})

Iteración básica

Quizás la primera idea para sumar los valores es usar un bucle for iterando sobre los índices del DataFrame. Algo que se puede hacer obteniendo el tamaño del objeto y operando de la siguiente manera:

%%time

total = 0

for i in range(df.shape[0]):
    total += df.Values[i]

total

Como se puede ver en el código para medir el tiempo de ejecución tiempos se ha incluido la función mágica %%time en la celda de un Notebook. Lo que nos devuelve el tiempo de ejecución.

En este caso sumar un cuarto de millón de valores aleatorios ha tardado unos cinco segundos. Puede parecer rápido o no, pero veamos otras alternativas.

Uso de iterrows

Una de las alternativas que se pueden plantear es el método iterrows que existe en los DataFrame pandas para iterar sobre las filas del objeto. Este método es excesivamente lento, por lo que su uso no es aconsejable. El método iterrows devuelve en cada iteración una tupla con el índice y la fila, por lo que podemos iterar de la siguiente forma

%%time

total = 0

for _, row in df.iterrows():
    total += row.Values
    
total

En este caso el rendimiento ha sido mucho peor ya que ha tardado más del triple de tiempo, 16 segundos. Por lo que no es nada aconsejable si se busca rendimiento.

Uso de itertuples

Otro método de los DataFrame Pandas que podemos usar es itertuples. Este, como indica su nombre, devuelve una tupla con el nombre de las columnas. Por lo que solamente se puede acceder a los datos con la notación punto, no mediante corchetes. Ahora, se puede adaptar el bucle for para obtener el resultado con este método.

%%time

total = 0

for row in df.itertuples(index=False):
    total += row.Values
    
total

Esto ya es una mejora considerable, hemos bajado de a 144 milisegundos. Lo que supone una mejora de 34 veces respecto la primera aproximación y 112 respecto a iterrows. Pero en la introducción había prometido 375 veces, lo que se puede conseguir usando programación funcional como se verá en la siguiente sección.

Uso de programación funcional

Ahora vamos a cambiar de aproximación, usaremos programación funcional en lugar de iterar mediante un bucle for. Para lo que necesitamos importar reduce de functools y escribiremos el siguiente código.

%%time

from functools import reduce

total = reduce(lambda a, b: a+b, df.Values)

total

Al ejecutarlo nos encontramos que solamente tarda 43.1 milisegundos, lo que es una ejecución 116 veces más rápido que iterar sobre los índices, 375 veces más rápido respecto a iterrows y 3 veces más rápido que itertuples.

Comparativa de lo métodos de iteración en Pandas

Ahora podemos resumir los resultados en una tabla donde ver más claramente los resultados obtenidos.

Los dos métodos ganadores, y los que se deberían usar en la mayoría de los casos, son itertuples y la programación funcional. Estos son los que consiguen que Pandas itere más rápido. Aunque se observa un factor tres entre los dos hay que notar que ambos han tardado unos pocos milisegundos. Por lo que el error en las medidas puede afectar a la comparativa. Así como la configuración de la máquina.

Conclusiones

Por lo que se ha visto en la entrada utilizar un método u otro para iterar un DataFrame Pandas puede afectar considerablemente al rendimiento de nuestro código. Así seleccionando el método adecuado podemos conseguir que Pandas itere más rápido, de hecho, hasta 375 veces más rápido. Por lo que siempre que podamos deberíamos usar programación funcional o, si no es el caso, itertuples.

Las pruebas se han realizado en un Mac con Python 3.7.6, Pandas 1.0.1 y numpy 1.18.1.

Imagen de Herbert Aust en Pixabay