Optimizar código en Jupyter con el decorador @profile

En una publicación anterior se vio como se puede optimizar el código Python usando LineProfiler, una librería con la se puede analizar el tiempo que necesita cada línea de un programa para finalizar. Lo que permite centrar las mejoras solamente en aquellas áreas donde el código es lento. En aquella ocasión se vio como en un archivo de Python la forma más sencilla de usar esta herramienta es mediante el uso del decorador @profile, lo que no funciona en los archivos de Jupyter, por lo que era necesario usar otra aproximación. Aunque esto se puede solucionar creando el decorador para depurar el código en Jupyter de una manera más sencilla.

Problemas con LineProfiler en Jupyter

Para optimizar la función cumsum() en un archivo de Python se puede importar el paquete LineProfiler, el cual debe instalarse previamente, y agregar el decorador @profile antes de la definición de la función. Como se explicó en más detalle en una entrada anterior se puede usar el siguiente código.

import time
import line_profiler


@profile
def cumsum(value=10, sleep=0.1):
    result = 0

    time.sleep(sleep * 2)

    for value in range(value + 1):
        result += value
        time.sleep(sleep)

    return result


if __name__ == "__main__":
    cumsum()
    print_stats()

Pero, si se usa copia este código en una celda de Notebook se tendría el siguiente error.

En Analytics Lane

Los récords con asterisco, o la épica del titular sin contexto – El bestiario de los indicadores económicos absurdos (parte 8 y final)

---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
/var/folders/bn/2zk1512x0wg1j5gr10l_l3k80000gn/T/ipykernel_2332/2012032912.py in <module>
      3 
      4 
----> 5 @profile
      6 def cumsum(value=10, sleep=0.1):
      7     result = 0

NameError: name 'profile' is not defined

Lo que nos dice que no existe el decorador @profile

Creación del decorador @profile en Jupyter

Una posible solución a este problema es crear el decorador de modo que se pueda optimizar el código de una manera similar a como se haría en Python. Para los que se puede modificar el código tal como se muestra a continuación.

from line_profiler import LineProfiler
import time


profiler = LineProfiler()


def profile(func):
    def inner(*args, **kwargs):
        profiler.add_function(func)
        profiler.enable_by_count()
        return func(*args, **kwargs)
    return inner


@profile
def cumsum(value=10, sleep=0.1):
    result = 0

    time.sleep(sleep * 2)

    for value in range(value + 1):
        result += value
        time.sleep(sleep)

    return result


cumsum()
profiler.print_stats()

En este caso se ha importado la clase LineProfiler con la que se ha creado un objeto profiler. Lo que se ha usado para crear una función profile que sirve de decorador. Posteriormente, para analizar el tiempo de ejecución del código solamente se tiene que llamar a la función y posteriormente al método print_stats(). Quedando un proceso más dinámico que el visto en la entrada anterior.

Timer unit: 1e-09 s

Total time: 1.34898 s
File: /var/folders/bn/2zk1512x0wg1j5gr10l_l3k80000gn/T/ipykernel_2332/4204812400.py
Function: cumsum at line 15

Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
    15                                           @profile
    16                                           def cumsum(value=10, sleep=0.1):
    17         1       1000.0   1000.0      0.0      result = 0
    18                                           
    19         1  205037000.0 205037000.0     15.2      time.sleep(sleep * 2)
    20                                           
    21        11      71000.0   6454.5      0.0      for value in range(value + 1):
    22        11      32000.0   2909.1      0.0          result += value
    23        11 1143837000.0 103985181.8     84.8          time.sleep(sleep)
    24                                           
    25         1       4000.0   4000.0      0.0      return result

Al ejecutar este código en una celda de un Notebook se obtiene un código como el que se muestra a continuación.

Conclusiones

En esta entrada se ha visto cómo se puede optimizar código en Jupyter de una forma más sencilla gracias al uso del decorador @profile. Un decorador que es necesario crear en una celda para solucionar el problema de que este no se importa en los Notebooks.

Imagen de ZeeShutterz en Pixabay