• Saltar al contenido principal
  • Skip to secondary menu
  • Saltar a la barra lateral principal
  • Saltar al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Machine Learning
    • Noticias
    • Opinión
    • Productividad
    • Programación
      • JavaScript
      • Julia
      • Matlab
      • Python
      • R
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Noticias
  • Boletín
  • Contacto
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad
    • Tiendas afiliadas
      • AliExpress
      • Amazon
      • Banggood
      • GeekBuying
      • Lenovo

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Machine Learning
  • Python
  • Pandas
  • NumPy
  • Matlab
  • Julia
  • JavaScript
  • Excel

Mejores aproximaciones para iterar en Python

marzo 4, 2019 Por Daniel Rodríguez 2 comentarios
Tiempo de lectura: 4 minutos

En los entornos intensivos en datos es habitual tener que aplicar una misma función a grandes conjuntos de datos. Los cuales pueden estar almacenados en listas o tuplas. Lo que puede ser necesario desde para la creación de los datos de una gráfica hasta para obtener los valores de una simulación de tipo Montecarlo. Para lo que no existe una única forma de realizar esta tarea, sino que hay varias. En esta entrada se van a utilizar cinco aproximaciones para iterar sobre un conjunto de datos y medir su rendimiento. Con lo que se puede obtener así una idea de cual es las mejores aproximaciones para iterar en Python.

El problema que se va a utiliza de ejemplo en esta entrada es sencillo. Se va a calcular los valores de aplicar la siguiente función a un conjunto de datos grande

1 - \log(x+1)

Utilizando para ellos las diferentes aproximaciones disponibles en Python.

Aproximaciones básicas disponibles en Python

Una vez planteado el problema se puede ver que en Python existen tres métodos básicos de realizar esta tarea. Estos son:

  • Bucles: esta es la manera más sencilla e intuitiva. Para su implementación solamente es necesario definir un for que itere sobre los valores.
  • Iteradores: son un paso más allá de los bucles. Al igual que en los bucles se han de indicar mediante un for los valores sobre los que es necesario iterar.
  • La vectorización NumPy: otra forma sencilla de implementar esta tarea es aprovechar que es posible aplicar una función sobre un objeto NumPy directamente.

Las tres aproximaciones anteriores se muestran en el siguiente código. Los bucles se implementan con la función loops, los iteradores mediante iterators y la vectorización NumPy mediante numpy_vectorization.

Publicidad


from math import log
import numpy as np

def loops(num):
  result = []
  
  for x in range(num):
    result.append(1 - log(x + 1))

  return result

def iterators(num):
  return [1 - log(x + 1) for x in range(num)]

def numpy_vectorization(num):
  return (1 - np.log(np.arange(num) + 1))

Comparación de los resultados

Para comparar el rendimiento de las tres funciones se va a utilizar la función repeat de la librería timeit. Esta función permite repetir un método una cantidad de veces y devuelve el tiempo necesario cada vez. Una función que ofrece los resultados es:

from timeit import repeat
import operator

def performance(func_name, iterations= 250000, rep=10, number=1):
  results = {}

  for name in func_name:
    stmt = name + '(' + str(iterations) + ')'
    setup = 'from __main__ import ' + name

    outputs = repeat(stmt=stmt,
                     setup=setup,
                     repeat=rep,
                     number=number)
    results[name] = sum(outputs) / rep

  results_sorted = sorted(results.items(), key=operator.itemgetter(1))
  
  for item in results_sorted:
    print(item[0] + ' requires %1.3f seconds and is %1.1f times slower than the best' % (item[1], item[1] / results_sorted[0][1]))

  return results

En esta función se crea inicialmente una cadena de texto con la función a evaluar que se almacena en stmt. Posteriormente es necesario configura otra cadena de texto para que se pueden importar los objetos del espacio de trabajo. Finalmente se ejecuta el método el número de veces indicado en las opciones.

Una vez obtenido los tiempos estos se ordenan y se saca por pantalla los resultados. Para los tres casos anteriores se obtiene.

times = performance(('loops', 'iterators', 'numpy_vectorization'))
numpy_vectorization requires 0.002 seconds and is 1.0 times slower than the best option

iterators requires 0.041 seconds and is 20.2 times slower than the best option

loops requires 0.053 seconds and is 26.4 times slower than the best option

En este ejemplo se puede ver que NumPy es la opción más rápida de las tres. Tanto los iteradores como los bucles son 20 veces más lentos.

Evaluador rápido de expresiones y NumExpr

Como alternativa a los métodos vistos anteriormente se puede plantear la evaluación de expresiones. En Python existe para ello la función eval, aunque más interesante es la librería NumExpr disponible mediante pip. NumExpr es un evaluador rápido de expresiones numéricas para NumPy que permite obtener un gran rendimiento. Permitiendo que las expresiones que operan en arrays se ejecuten de forma más rápida y con menos consumo de memoria que en Python.

Publicidad


A continuación, se muestra la implementación de ambos para el problema planteado. La evaluación de Python se implementa mediante la función evaluator y la de NumExpr con evaluator_numexpr.

import numexpr as ne

def evaluator(num):
  return [eval('1 - log(x + 1)') for x in range(num)]

def evaluator_numexpr(num):
  values = np.arange(num)
  return ne.evaluate('1 - log(values + 1)')

Comparación de todos los resultados

Ahora se puede llevar a cabo la comparación del rendimiento de todas las aproximaciones anteriores. Para ello se puede utilizar la misma función que se ha definido para las tres primeras.

times = performance(('loops', 'iterators', 'numpy_vectorization', 'evaluator', 'evaluator_numexpr'))
evaluator_numexpr requires 0.001 seconds and is 1.0 times slower than the best option
numpy_vectorization requires 0.002 seconds and is 2.5 times slower than the best option
iterators requires 0.039 seconds and is 59.3 times slower than the best option
loops requires 0.051 seconds and is 77.0 times slower than the best option
evaluator requires 1.775 seconds and is 2675.1 times slower than the best option

En este caso se puede observar como el método más rápido es evaluator_numepr, el cual requiere menos de la mitad de tiempo que numpy_vectorization. Lo que es una mejora considerable. Por otro lado, la peor opción la función que utilizar eval, como en cierta medida sería de esperar.

Conclusiones

Se han visto cinco aproximaciones para iterar sobre arrays en Python. En esta comparativa se ha observado que las mejores aproximaciones para iterar en Python son NumExpr y pandas. Los métodos nativos de Python, como los bucles o iteradores son un orden de magnitud más lentos. Estos resultados se han de tener en cuenta sea necesario soluciones de cálculo numérico eficientes.

Imágenes: Pixabay (Free-Photos)

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 0 / 5. Votos emitidos: 0

Publicidad


Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Publicaciones relacionadas

  • Personalización de gráficos en Seaborn: Cambiar colores, estilos y etiquetas
    Personalización de gráficos en Seaborn: Cambiar colores,…
  • Medir y reducir el consumo de memoria en Python
    Medir y reducir el consumo de memoria en Python
  • Concatenar listas en Python
    Concatenar listas en Python
  • Probar en múltiples versiones de Python (Creación de paquetes de Python 3ª parte)
    Probar en múltiples versiones de Python (Creación de…
  • pandas
    Pandas: Iterar sobre las columnas de un DataFrame
  • Listas por comprensión en Python
    Listas por comprensión en Python

Publicado en: Python Etiquetado como: NumPy

Interacciones con los lectores

Comentarios

  1. M dice

    diciembre 20, 2019 a las 11:02 am

    Buenos días,

    Tengo una duda en relación con el bucle for. No sé si es el mejor lugar para preguntarlo, pero… ahí va. Gracias de antemano.

    Estoy intentando crear una columna nueva (“identificador_usuario”) que se base en una numeración. Para ello, hago un bucle que itera sobre todas las filas de mi df y me devuelve un número (n+1). Mi objetivo es que el resultado se agregue al df (cuyo nombre es df_test) como una nueva columna. Esto es lo que hago:

    n=1
    for identificador_usuario in (df_test):
    n=n+1
    print(n)
    df_test[“identificador_usuario”]=df_test.apply(identificador_usuario,axis=1)

    Sin embargo, me da un error. ¿Qué hago mal?

    Muchas gracias!

    Responder
    • Daniel Rodríguez dice

      diciembre 20, 2019 a las 4:27 pm

      No entiendo bien lo que se desea hacer con el código. Pero, en primer lugar, el código itera sobre las series del Dataframe, por que al final n será igual al número de series mas uno que tenga este. Valor que se obtiene más fácilmente con la propiedad shape.

      Posteriormente el primer valor de apply debería ser una función que se aplica sobre las columnas. No el nombre de las columnas.

      Responder

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Publicidad




Barra lateral principal

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

Analytics Lane en redes sociales

  • Amazon
  • Facebook
  • GitHub
  • Instagram
  • Pinterest
  • RSS
  • Twitter
  • Tumblr
  • YouTube

Publicidad

Entradas recientes

El método de Hare-Niemeyer y su implementación en Python

septiembre 29, 2023 Por Daniel Rodríguez

Redimensionar una partición de disco LVM con espacio no asignado en Linux

septiembre 27, 2023 Por Daniel Rodríguez

¿Cómo saber la versión de Pandas o cualquier otra librería en Python?

septiembre 25, 2023 Por Daniel Rodríguez

Publicidad

Es tendencia

  • Unir y combinar dataframes con pandas en Python publicado el septiembre 10, 2018 | en Python
  • Duplicado Eliminar registros duplicados en pandas publicado el junio 20, 2018 | en Python
  • Enviar mensajes de WhatsApp con Python publicado el marzo 7, 2022 | en Python
  • Ecuaciones multilínea en Markdown publicado el septiembre 14, 2022 | en Herramientas
  • ¿Cómo eliminar columnas y filas en un dataframe pandas? publicado el marzo 25, 2019 | en Python

Publicidad

Lo mejor valorado

4.9 (22)

Seleccionar filas y columnas en Pandas con iloc y loc

4.7 (12)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

4.6 (15)

Archivos JSON con Python: lectura y escritura

4.5 (10)

Diferencias entre var y let en JavaScript

4.3 (12)

Ordenación de diccionarios en Python mediante clave o valor

Publicidad

Comentarios recientes

  • Daniel Rodríguez en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • Miguel en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • alberto en Resolver problema de credenciales en Bitbucket
  • Pablo en Aplicar el método D’Hondt en Excel
  • Agapito en Creación de un EXE desde un archivo Python en Windows

Publicidad

Footer

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Libros
  • Lo más popular
  • Noticias
  • Tienda
  • Tiendas afiliadas

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Machine Learning
  • Opinión
  • Productividad
  • Programación
  • Reseñas

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Copyright © 2018-2023 Analytics Lane ·Términos y condiciones ·Política de Cookies ·Política de Privacidad ·Herramientas de privacidad ·Contacto