• Ir al contenido principal
  • Skip to secondary menu
  • Ir a la barra lateral primaria
  • Ir al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Noticias
    • Opinión
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Boletín
  • Contacto
  • Acerca de Analytics Lane
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad
    • Tiendas afiliadas
      • AliExpress
      • Amazon
      • GearBest
      • GeekBuying
      • JoyBuy

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Criptografía
  • Python
  • Matlab
  • R
  • Julia
  • JavaScript
  • Herramientas
  • Opinión
  • Noticias

Mejorar el rendimiento de Pandas con swifter

octubre 12, 2020 Por Daniel Rodríguez Dejar un comentario

A la hora de trabajar con datos en rendimiento es un factor clave. No es lo mismo procesar un conjunto de datos en un minuto que en un segundo. A pesar de que pandas ofrece un rendimiento razonable en la mayoría de las situaciones, no es así con conjunto de datos muy grandes. Por lo existe soluciones para mejorar su rendimiento como Modin o Cython que ya hemos visto en este blog. Otro parapete que se puede utilizar para mejorar el rendimiento de Pandas es swifter. Un paquete que nos permite aplicar de forma eficiente cualquier función a una serie o DataFrame de Pandas.

Instalación de swifter

El proceso de instalación de swifter es sencillo como la mayoría de paquete de Python, pudiéndose usar para ello pip. Aunque, dado las características de swifter, es aconsejable actualizar previamente Pandas para estar seguro de que se tenga una versión compatible. Para lo que es necesario escribir en la terminal:

pip install -U pandas
pip install swifter

Alternativamente, si estamos trabajando con Conda se puede usa el comando para instalar el paquete:

conda install -c conda-forge swifter

Mejora del rendimiento

Para evaluar el rendimiento de swifter podemos crear un DataFrame aleatorio con 20 millones de registros.

import numpy as np
import pandas as pd
import swifter

df = pd.DataFrame(np.random.randint(-100, 100,
                                    size=(20000000, 2)),
                  columns=list('AB'))

Ahora podemos ver lo que le cuesta elevar al cuadrado una de las columnas a Pandas.

%time df['z'] = df['A'].apply(lambda t: t ** 2)
CPU times: user 11.1 s, sys: 949 ms, total: 12 s
Wall time: 12.8 s

El rendimiento que hemos obtenido no está mal, ha tardado unos 11 segundos. Pero si usamos swifter para aplicar la función podemos ver que el rendimiento es mucho mayor.

%time df['z'] = df['A'].swifter.apply(lambda t: t ** 2)
CPU times: user 149 ms, sys: 103 ms, total: 252 ms
Wall time: 256 ms

Ahora solo ha tardado solamente unas centésimas de milisegundos. !Una mejora de dos órdenes de magnitud¡ Esto es así porque swifter utiliza una versión vectorizada de la función, mejorando considerablemente el rendimiento.

Funciones no vectorizadas

El problema de swifter es que no siempre se obtiene una mejora de este tipo. Si la función que se desea aplicar no se puede vectorizar, el rendimiento puede ser menor que Pandas. Para esto podemos probar con una versión de la función valor absoluto aplicada al DataFrame anterior.

def abs(x):
    if x > 0:
        return x
    else:
        return -x
    
%time df['z'] = df['A'].apply(lambda t: abs(t))
CPU times: user 7.58 s, sys: 680 ms, total: 8.26 s
Wall time: 8.47 s

En este caso, la función ha tardado unos 8 segundos. Veamos lo que pasa al usar swifter

%time df['z'] = df['A'].swifter.apply(lambda t: abs(t))
CPU times: user 1.31 s, sys: 954 ms, total: 2.26 s
Wall time: 15.7 s

Vemos que el tiempo es un poco mayor, hemos pasado a 15 segundos. Esto es así porque no existe una versión vectorizada de la función y en este caso intenta paralizar el trabajo, sin obtener una mejora.

Vectorizar la función con np.where()

El problema que hemos visto en el caso anterior se puede solucionar vectorizando la tarea con la función np.where(). Lo que nos permite volver a mejorar el tiempo de ejecución.

def abs(x):
    return np.where(x > 0, x, -x)
    
%time df['z'] = df['A'].swifter.apply(lambda t: abs(t))
CPU times: user 239 ms, sys: 176 ms, total: 415 ms
Wall time: 451 ms

Conclusiones

En esta entrada se ha visto una librería interesante para mejorar el rendimiento de las operaciones realizadas con Pandas. Aunque no es una librería mágica. Ya que es necesario implementar la operación de forma vectorial para evitar que el rendimiento sea pero que con la librería estándar. Aun así, en las situaciones en las que funciona bien es una excelente opción para mejorar el rendimiento de nuestros códigos.

Imagen de John Howard en Pixabay

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 0 / 5. Votos emitidos: 0

Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Contenido relacionado

Archivado en:Python Etiquetado con:pandas

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Publicidad


Barra lateral primaria

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

¡Síguenos en redes sociales!

  • facebook
  • github
  • telegram
  • pinterest
  • rss
  • tumblr
  • twitter
  • youtube

Publicidad

Tiendas afiliadas

Ayúdanos realizando tus compras sin coste adicional con los enlaces de la tienda. ¡Gracias!

Entradas recientes

Creación de un certificado Let’s Encrypt en Windows con Win-Acme

enero 22, 2021 Por Daniel Rodríguez Dejar un comentario

Aplicaciones de Node en producción con PM2

enero 20, 2021 Por Daniel Rodríguez Dejar un comentario

SQLite en Python

enero 18, 2021 Por Daniel Rodríguez Dejar un comentario

Publicidad

Es tendencia

  • Seleccionar filas y columnas en Pandas con iloc y loc bajo Python
  • Unir y combinar dataframes con pandas en Python bajo Python
  • Excel en Python Guardar y leer archivos Excel en Python bajo Python
  • ¿Cómo eliminar columnas y filas en un dataframe pandas? bajo Python
  • Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas bajo Python

Publicidad

Lo mejor valorado

5 (3)

Ordenar una matriz en Matlab en base a una fila o columna

5 (3)

Automatizar el análisis de datos con Pandas-Profiling

5 (5)

Diferencias entre var y let en JavaScript

5 (6)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

5 (3)

Unir y combinar dataframes con pandas en Python

Publicidad

Comentarios recientes

  • Daniel Rodríguez en Calculadora de probabilidades de ganar a la lotería
  • abel en Calculadora de probabilidades de ganar a la lotería
  • David Arias en Diferencias entre regresión y clasificación en aprendizaje automático
  • Juan Aguilar en Archivos JSON con Python: lectura y escritura
  • Camilo en Contar palabras en una celda Excel

Publicidad

Footer

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Noticias
  • Opinión

Programación

  • JavaScript
  • Julia
  • Matlab
  • Python
  • R

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Lo más popular
  • Tienda

Tiendas Afiliadas

  • AliExpress
  • Amazon
  • BangGood
  • GearBest
  • Geekbuying
  • JoyBuy

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Tiendas afiliadas

Ayúdanos realizando tus compras sin coste adicional con los enlaces de la tienda. ¡Gracias!

Amazon

2018-2020 Analytics Lane · Términos y condiciones · Política de Cookies · Política de Privacidad · Herramientas de privacidad · Contacto