• Saltar al contenido principal
  • Skip to secondary menu
  • Saltar a la barra lateral principal
  • Saltar al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Machine Learning
    • Noticias
    • Opinión
    • Productividad
    • Programación
      • JavaScript
      • Julia
      • Matlab
      • Python
      • R
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Noticias
  • Boletín
  • Contacto
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad
    • Tiendas afiliadas
      • AliExpress
      • Amazon
      • Banggood
      • GeekBuying
      • Lenovo

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Machine Learning
  • Python
  • Pandas
  • NumPy
  • Matlab
  • Julia
  • JavaScript
  • Excel

Cómo conseguir que Pandas itere más rápido, hasta 375 veces

abril 27, 2020 Por Daniel Rodríguez Deja un comentario
Tiempo de lectura: 4 minutos

A pesar de que Python se uno de los lenguajes más populares para el tratamiento de datos no es el más rápido. Tanto Julia como JavaScript puede llegar a ser órdenes de magnitud más rápido. Por eso, cualquier truco que nos permita reducir el tiempo de ejecución de nuestro código es de agradecer. En esta entrada vamos a comparar diferentes métodos de iteración en dataframe Pandas para ver cual es el más rápido. Así seleccionando el mejor método se podrá conseguir que Pandas itere más rápido, hasta 375 veces.

Planteamiento del problema

Vamos a plantear un problema sencillo, sumar los valores de un DataFrame. Para ello crearemos un DataFrame con una columna aleatoria, la cual sumaremos utilizando diferentes técnicas. El código para generar el DataFrame puede ser como el siguiente.

import numpy as np
import pandas as pd

np.random.rand(0)

df = pd.DataFrame(data={'Values' : np.random.rand(250000)})

Iteración básica

Quizás la primera idea para sumar los valores es usar un bucle for iterando sobre los índices del DataFrame. Algo que se puede hacer obteniendo el tamaño del objeto y operando de la siguiente manera:

%%time

total = 0

for i in range(df.shape[0]):
    total += df.Values[i]

total

Como se puede ver en el código para medir el tiempo de ejecución tiempos se ha incluido la función mágica %%time en la celda de un Notebook. Lo que nos devuelve el tiempo de ejecución.

En este caso sumar un cuarto de millón de valores aleatorios ha tardado unos cinco segundos. Puede parecer rápido o no, pero veamos otras alternativas.

Publicidad


Uso de iterrows

Una de las alternativas que se pueden plantear es el método iterrows que existe en los DataFrame pandas para iterar sobre las filas del objeto. Este método es excesivamente lento, por lo que su uso no es aconsejable. El método iterrows devuelve en cada iteración una tupla con el índice y la fila, por lo que podemos iterar de la siguiente forma

%%time

total = 0

for _, row in df.iterrows():
    total += row.Values
    
total

En este caso el rendimiento ha sido mucho peor ya que ha tardado más del triple de tiempo, 16 segundos. Por lo que no es nada aconsejable si se busca rendimiento.

Uso de itertuples

Otro método de los DataFrame Pandas que podemos usar es itertuples. Este, como indica su nombre, devuelve una tupla con el nombre de las columnas. Por lo que solamente se puede acceder a los datos con la notación punto, no mediante corchetes. Ahora, se puede adaptar el bucle for para obtener el resultado con este método.

%%time

total = 0

for row in df.itertuples(index=False):
    total += row.Values
    
total

Esto ya es una mejora considerable, hemos bajado de a 144 milisegundos. Lo que supone una mejora de 34 veces respecto la primera aproximación y 112 respecto a iterrows. Pero en la introducción había prometido 375 veces, lo que se puede conseguir usando programación funcional como se verá en la siguiente sección.

Uso de programación funcional

Ahora vamos a cambiar de aproximación, usaremos programación funcional en lugar de iterar mediante un bucle for. Para lo que necesitamos importar reduce de functools y escribiremos el siguiente código.

Publicidad


%%time

from functools import reduce

total = reduce(lambda a, b: a+b, df.Values)

total

Al ejecutarlo nos encontramos que solamente tarda 43.1 milisegundos, lo que es una ejecución 116 veces más rápido que iterar sobre los índices, 375 veces más rápido respecto a iterrows y 3 veces más rápido que itertuples.

Comparativa de lo métodos de iteración en Pandas

Ahora podemos resumir los resultados en una tabla donde ver más claramente los resultados obtenidos.

Tiempo (ms)Veces respecto a reduce
for5030116
iterrows16200375
itertuples1443,3
reduce43,11

Los dos métodos ganadores, y los que se deberían usar en la mayoría de los casos, son itertuples y la programación funcional. Estos son los que consiguen que Pandas itere más rápido. Aunque se observa un factor tres entre los dos hay que notar que ambos han tardado unos pocos milisegundos. Por lo que el error en las medidas puede afectar a la comparativa. Así como la configuración de la máquina.

Conclusiones

Por lo que se ha visto en la entrada utilizar un método u otro para iterar un DataFrame Pandas puede afectar considerablemente al rendimiento de nuestro código. Así seleccionando el método adecuado podemos conseguir que Pandas itere más rápido, de hecho, hasta 375 veces más rápido. Por lo que siempre que podamos deberíamos usar programación funcional o, si no es el caso, itertuples.

Las pruebas se han realizado en un Mac con Python 3.7.6, Pandas 1.0.1 y numpy 1.18.1.

Publicidad


Imagen de Herbert Aust en Pixabay

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 0 / 5. Votos emitidos: 0

Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Publicaciones relacionadas

  • pandas
    Pandas: Comprobar la existencia de valores en los DataFrame
  • Uso de Pandas Query para filtrar datos de forma sencilla
    Uso de Pandas Query para filtrar datos de forma sencilla
  • Vectorización en Python para mejorar el rendimiento
    Vectorización en Python para mejorar el rendimiento
  • Almacenar los datos de forma eficiente con Feather en Python
    Almacenar los datos de forma eficiente con Feather en Python
  • Almacenar archivos CSV 10 veces más rápido en Python con PyArrow
    Almacenar archivos CSV 10 veces más rápido en Python con…
  • Reemplaza <code>loc</code> e <code>iloc</code> para mejorar el rendimiento en bucles
    Reemplaza loc e iloc para mejorar el rendimiento en bucles

Publicado en: Python Etiquetado como: Pandas

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Publicidad




Barra lateral principal

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

Analytics Lane en redes sociales

  • Amazon
  • Facebook
  • GitHub
  • Instagram
  • Pinterest
  • RSS
  • Twitter
  • Tumblr
  • YouTube

Publicidad

Entradas recientes

El método de Hare-Niemeyer y su implementación en Python

septiembre 29, 2023 Por Daniel Rodríguez

Redimensionar una partición de disco LVM con espacio no asignado en Linux

septiembre 27, 2023 Por Daniel Rodríguez

¿Cómo saber la versión de Pandas o cualquier otra librería en Python?

septiembre 25, 2023 Por Daniel Rodríguez

Publicidad

Es tendencia

  • Unir y combinar dataframes con pandas en Python publicado el septiembre 10, 2018 | en Python
  • Duplicado Eliminar registros duplicados en pandas publicado el junio 20, 2018 | en Python
  • Enviar mensajes de WhatsApp con Python publicado el marzo 7, 2022 | en Python
  • Ecuaciones multilínea en Markdown publicado el septiembre 14, 2022 | en Herramientas
  • ¿Cómo eliminar columnas y filas en un dataframe pandas? publicado el marzo 25, 2019 | en Python

Publicidad

Lo mejor valorado

4.9 (22)

Seleccionar filas y columnas en Pandas con iloc y loc

4.7 (12)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

4.6 (15)

Archivos JSON con Python: lectura y escritura

4.5 (10)

Diferencias entre var y let en JavaScript

4.3 (12)

Ordenación de diccionarios en Python mediante clave o valor

Publicidad

Comentarios recientes

  • Daniel Rodríguez en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • Miguel en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • alberto en Resolver problema de credenciales en Bitbucket
  • Pablo en Aplicar el método D’Hondt en Excel
  • Agapito en Creación de un EXE desde un archivo Python en Windows

Publicidad

Footer

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Libros
  • Lo más popular
  • Noticias
  • Tienda
  • Tiendas afiliadas

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Machine Learning
  • Opinión
  • Productividad
  • Programación
  • Reseñas

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Copyright © 2018-2023 Analytics Lane ·Términos y condiciones ·Política de Cookies ·Política de Privacidad ·Herramientas de privacidad ·Contacto