• Ir al contenido principal
  • Skip to secondary menu
  • Ir a la barra lateral primaria
  • Ir al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Noticias
    • Opinión
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Boletín
  • Contacto
  • Acerca de Analytics Lane
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad
    • Tiendas afiliadas
      • AliExpress
      • Amazon
      • GearBest
      • GeekBuying
      • JoyBuy

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Criptografía
  • Python
  • Matlab
  • R
  • Julia
  • JavaScript
  • Herramientas
  • Opinión
  • Noticias

Cómo conseguir que Pandas itere más rápido, hasta 375 veces

abril 27, 2020 Por Daniel Rodríguez Dejar un comentario

A pesar de que Python se uno de los lenguajes más populares para el tratamiento de datos no es el más rápido. Tanto Julia como JavaScript puede llegar a ser órdenes de magnitud más rápido. Por eso, cualquier truco que nos permita reducir el tiempo de ejecución de nuestro código es de agradecer. En esta entrada vamos a comparar diferentes métodos de iteración en dataframe Pandas para ver cual es el más rápido. Así seleccionando el mejor método se podrá conseguir que Pandas itere más rápido, hasta 375 veces.

Planteamiento del problema

Vamos a plantear un problema sencillo, sumar los valores de un DataFrame. Para ello crearemos un DataFrame con una columna aleatoria, la cual sumaremos utilizando diferentes técnicas. El código para generar el DataFrame puede ser como el siguiente.

import numpy as np
import pandas as pd

np.random.rand(0)

df = pd.DataFrame(data={'Values' : np.random.rand(250000)})

Iteración básica

Quizás la primera idea para sumar los valores es usar un bucle for iterando sobre los índices del DataFrame. Algo que se puede hacer obteniendo el tamaño del objeto y operando de la siguiente manera:

%%time

total = 0

for i in range(df.shape[0]):
    total += df.Values[i]

total

Como se puede ver en el código para medir el tiempo de ejecución tiempos se ha incluido la función mágica %%time en la celda de un Notebook. Lo que nos devuelve el tiempo de ejecución.

En este caso sumar un cuarto de millón de valores aleatorios ha tardado unos cinco segundos. Puede parecer rápido o no, pero veamos otras alternativas.

Uso de iterrows

Una de las alternativas que se pueden plantear es el método iterrows que existe en los DataFrame pandas para iterar sobre las filas del objeto. Este método es excesivamente lento, por lo que su uso no es aconsejable. El método iterrows devuelve en cada iteración una tupla con el índice y la fila, por lo que podemos iterar de la siguiente forma

%%time

total = 0

for _, row in df.iterrows():
    total += row.Values
    
total

En este caso el rendimiento ha sido mucho peor ya que ha tardado más del triple de tiempo, 16 segundos. Por lo que no es nada aconsejable si se busca rendimiento.

Uso de itertuples

Otro método de los DataFrame Pandas que podemos usar es itertuples. Este, como indica su nombre, devuelve una tupla con el nombre de las columnas. Por lo que solamente se puede acceder a los datos con la notación punto, no mediante corchetes. Ahora, se puede adaptar el bucle for para obtener el resultado con este método.

%%time

total = 0

for row in df.itertuples(index=False):
    total += row.Values
    
total

Esto ya es una mejora considerable, hemos bajado de a 144 milisegundos. Lo que supone una mejora de 34 veces respecto la primera aproximación y 112 respecto a iterrows. Pero en la introducción había prometido 375 veces, lo que se puede conseguir usando programación funcional como se verá en la siguiente sección.

Uso de programación funcional

Ahora vamos a cambiar de aproximación, usaremos programación funcional en lugar de iterar mediante un bucle for. Para lo que necesitamos importar reduce de functools y escribiremos el siguiente código.

%%time

from functools import reduce

total = reduce(lambda a, b: a+b, df.Values)

total

Al ejecutarlo nos encontramos que solamente tarda 43.1 milisegundos, lo que es una ejecución 116 veces más rápido que iterar sobre los índices, 375 veces más rápido respecto a iterrows y 3 veces más rápido que itertuples.

Comparativa de lo métodos de iteración en Pandas

Ahora podemos resumir los resultados en una tabla donde ver más claramente los resultados obtenidos.

Tiempo (ms)Veces respecto a reduce
for5030116
iterrows16200375
itertuples1443,3
reduce43,11

Los dos métodos ganadores, y los que se deberían usar en la mayoría de los casos, son itertuples y la programación funcional. Estos son los que consiguen que Pandas itere más rápido. Aunque se observa un factor tres entre los dos hay que notar que ambos han tardado unos pocos milisegundos. Por lo que el error en las medidas puede afectar a la comparativa. Así como la configuración de la máquina.

Conclusiones

Por lo que se ha visto en la entrada utilizar un método u otro para iterar un DataFrame Pandas puede afectar considerablemente al rendimiento de nuestro código. Así seleccionando el método adecuado podemos conseguir que Pandas itere más rápido, de hecho, hasta 375 veces más rápido. Por lo que siempre que podamos deberíamos usar programación funcional o, si no es el caso, itertuples.

Las pruebas se han realizado en un Mac con Python 3.7.6, Pandas 1.0.1 y numpy 1.18.1.

Imagen de Herbert Aust en Pixabay

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 0 / 5. Votos emitidos: 0

Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Contenido relacionado

Archivado en:Python Etiquetado con:pandas

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Publicidad


Barra lateral primaria

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

¡Síguenos en redes sociales!

  • facebook
  • github
  • telegram
  • pinterest
  • rss
  • tumblr
  • twitter
  • youtube

Publicidad

Tiendas afiliadas

Ayúdanos realizando tus compras sin coste adicional con los enlaces de la tienda. ¡Gracias!

Entradas recientes

Convertir números en cadenas y cadenas en números en Python

enero 25, 2021 Por Daniel Rodríguez Dejar un comentario

Creación de un certificado Let’s Encrypt en Windows con Win-Acme

enero 22, 2021 Por Daniel Rodríguez Dejar un comentario

Aplicaciones de Node en producción con PM2

enero 20, 2021 Por Daniel Rodríguez Dejar un comentario

Publicidad

Es tendencia

  • ¿Cómo eliminar columnas y filas en un dataframe pandas? bajo Python
  • Seleccionar filas y columnas en Pandas con iloc y loc bajo Python
  • Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas bajo Python
  • Unir y combinar dataframes con pandas en Python bajo Python
  • Excel en Python Guardar y leer archivos Excel en Python bajo Python

Publicidad

Lo mejor valorado

5 (3)

Ordenar una matriz en Matlab en base a una fila o columna

5 (3)

Automatizar el análisis de datos con Pandas-Profiling

5 (5)

Diferencias entre var y let en JavaScript

5 (6)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

5 (3)

Unir y combinar dataframes con pandas en Python

Publicidad

Comentarios recientes

  • Daniel Rodríguez en Calculadora de probabilidades de ganar a la lotería
  • abel en Calculadora de probabilidades de ganar a la lotería
  • David Arias en Diferencias entre regresión y clasificación en aprendizaje automático
  • Juan Aguilar en Archivos JSON con Python: lectura y escritura
  • Camilo en Contar palabras en una celda Excel

Publicidad

Footer

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Noticias
  • Opinión

Programación

  • JavaScript
  • Julia
  • Matlab
  • Python
  • R

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Lo más popular
  • Tienda

Tiendas Afiliadas

  • AliExpress
  • Amazon
  • BangGood
  • GearBest
  • Geekbuying
  • JoyBuy

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Tiendas afiliadas

Ayúdanos realizando tus compras sin coste adicional con los enlaces de la tienda. ¡Gracias!

Amazon

2018-2020 Analytics Lane · Términos y condiciones · Política de Cookies · Política de Privacidad · Herramientas de privacidad · Contacto