Pandas: Cómo iterar sobre las filas de un DataFrame en Pandas

Iterar sobre las filas de un DataFrame es una operación que se suele realizar de forma bastante habitual. Existiendo por ello diferentes formas de hacerlo. En esta ocasión vamos a ver tres de los métodos más utilizados para comparar posteriormente el rendimiento de estas.

Conjunto de datos de ejemplo

Para trabajar en esta ocasión vamos a emplear un conjunto de datos sintéticos de clientes que ya hemos utilizado en otras ocasiones.

import pandas as pd

users = {'first_name': ['Montgomery', 'Dagmar', 'Reeba', 'Shalom', 'Broddy', 'Aurelia'],
         'last_name': ['Humes', 'Elstow', 'Wattisham', 'Alen', 'Keningham', 'Brechin'],
         'age': [27, 41, 29, 29, 21, 33],
         'gender': ['Male', 'Female', 'Female', 'Male', 'Male', 'Female']}

df = pd.DataFrame(users)

Iterar sobre los elementos con for

La forma por defecto para iterar en Python es empleando for sobre un rango. En el caso de un DataFrame se puede iterar sobre la longitud de este, usando iloc para acceder a la i-ésima fila del objeto en cada una de las iteraciones. Lo que se puede ver en el siguiente ejemplo.

for i in range(len(df)):
    print(df.iloc[i]['first_name'])

Montgomery
Dagmar
Reeba
Shalom
Broddy
Aurelia

En este caso en cada una de las iteraciones se selecciona el nombre del cliente y se saca por pantalla. Pudiéndose hacer cualquier otra operación que sea necesaria.

En Analytics Lane

Nuevo test de normalidad interactivo en el laboratorio de Analytics Lane

Iterar sobre los elementos de iterrows

Esta propiedad existente en todos los DataFrames devuelve un objeto iterable que se pude utilizar en un bucle for. El contenido en cada una de las iteraciones es una tupla con el índice y una serie con el contenido de la fila. Así para reproducir los resultados del ejemplo anterior se tendría que hacer algo como lo que se muestra a continuación.

for index, row in df.iterrows():
    print(row['first_name'])

Nótese que lo más práctico es desempaquetar la tupla para tener el índice en una variable y la serie en otra.

Iterar sobre los elementos de itertuples

Otro método de los DataFame Pandas que devuelven un objeto iterable es itertuples. La diferencia de este con el anterior es que el resultado es una tupla con nombres (namedtuples) donde se etiqueta cada uno de los elementos con el nombre de las columnas. De este modo se puede reproducir el ejemplo visto en las secciones anteriores con un código como el siguiente.

for row in df.itertuples():
    print(row.first_name)

En caso de que sea necesario obtener el índice de la fila sobre la que se está iterando el valor se encuentra en la tupla con el nombre Index.

Comparativa de rendimiento

Al trabajar con DataFrames pequeños, en torno a los miles de filas, podemos usar el método con el que más cómodos nos encontremos ya que la diferencia de redimieron no se notará. Pero no así a la hora de trabajar con millones de elementos. Así si se crea un DataFrame con un millón de elementos aleatorios y se itera sin hacer nada con los tres métodos, es decir, se usa un código como el siguiente.

import numpy as np

df = pd.DataFrame(np.random.randint(0,100,size=(1000000, 2)), columns=list('AB'))

for i in range(len(df)): # 51.4 ms
    pass

for index, row in df.iterrows(): # 48 s
    pass

for row in df.itertuples(): # 544 ms
    pass

Se obtienen los siguientes resultados

Algo que indica que el método iterrows no es aconsejable en estos casos. La creación de la serie en cada uno de los casos hace que tarde 48 segundos, frente a 0,5 segundos de itertuples y los 51 ms del método for.

Conclusiones

En esta ocasión hemos visto diferentes métodos para iterar sobre las filas de un DataFrame en Pandas. Método que pueden ser más adecuados dependiendo de lo que se desee hacer con los datos en cada momento. A pesar de ello, también se ha visto que para DataFrames con cientos de miles o millones de registros el tiempo adicional de iterrows lo desaconseja completamente. Siendo el método más rápido iterar sobre un rango con for.

También se puede usar programación funcional para iterar sobre los eventos de un DataFrame, algo con lo que es posible reducir aún más el tiempo de ejecución del proceso.