Calcular diferencia entre elementos de un DataFrame con diff

En los objetos DataFrame de Pandas existe un método con el que se puede obtener la diferencia entre un elemento y el anterior, o cualquier otra posición. Este método es diff(). Su uso permite obtener la diferencia entre los elementos de un DataFrame, lo que se puede usar para ver de una forma rápida cómo crece o decrece una magnitud.

El método diff() en Pandas

El funcionamiento por defecto del método diff(), cuando no se le indica ningún parámetro, es generar un nuevo objeto con la diferencia de los valores de las filas de un DataFrame o los valores de un Serie. Lo que nos puede dar una idea de cómo varían los valores del conjunto de datos. Algo que es realmente útil cuando las filas son series temporales que varían a lo largo del tiempo. Por ejemplo, en el siguiente segmento de código se puede ver cómo se crea un conjunto de datos aleatorios y se obtiene rápidamente cómo evolucionan los valores.

import pandas as pd
import numpy as np

np.random.seed(42)

data = pd.DataFrame(np.random.randint(0, 100, (5, 4)),
                    columns=['A', 'B', 'C', 'D'])

print('Datos originales')
print(data)
print('Resultado después de aplicar el método diff')
print(data.diff())

Datos originales
    A   B   C   D
0  51  92  14  71
1  60  20  82  86
2  74  74  87  99
3  23   2  21  52
4   1  87  29  37
Resultado después de aplicar el método diff
      A     B     C     D
0   NaN   NaN   NaN   NaN
1   9.0 -72.0  68.0  15.0
2  14.0  54.0   5.0  13.0
3 -51.0 -72.0 -66.0 -47.0
4 -22.0  85.0   8.0 -15.0

En los resultados se puede ver cómo en cada fila se puede ver la diferencia que hay con el valor anterior. Como no podría ser de otra manera la primera fila tiene como resultado NaN, ya que no existe una fila anterior sobre la que obtener la diferencia.

Calcular diferencia entre las columnas de un DataFrame

Aunque posiblemente el uso más habitual del método diff() sea obtener la diferencia por filas, también es posible usarlos para calcular la variación de las columnas. Algo que puede ser de utilidad cuando se tienen diferentes valores en cada fila y en las columnas se tienen los meses. Lo que se puede conseguir indicando el valor 1 al parámetro axis, como se muestra en el siguiente ejemplo.

data.diff(axis=1)

    A   B   C   D
0 NaN  41 -78  57
1 NaN -40  62   4
2 NaN   0  13  12
3 NaN -21  19  31
4 NaN  86 -58   8

Diferencia entre elementos no consecutivos de un DataFrame

Otra opción del método diff() que suele ser de interés es periods, con la que se puede indicar respecto a cuantas filas o columnas antes se calcular la diferencia. Así si se tiene los datos mensuales, se puede calcular cuál es la variación trimestral indicando tres periodos, o cualquiera otra cantidad de períodos. En el siguiente ejemplo se puede ver cómo funciona el método con esta opción.

data.diff(periods=3)

      A     B     C     D
0   NaN   NaN   NaN   NaN
1   NaN   NaN   NaN   NaN
2   NaN   NaN   NaN   NaN
3 -28.0 -90.0   7.0 -19.0
4 -59.0  67.0 -53.0 -49.0

Nótese que en este caso las tres primeras filas son NaN ya que no existe hasta la cuarta no hay tres datos anteriores.

Conclusiones

El método diff() permite obtener la diferencia entre elementos de un DataFrame o Serie de una forma sencilla y fácil de entender. Aunque por defecto realiza la diferencia de los elementos de una fila con el anterior, las opciones del método permiten adaptar el funcionamiento a nuestras necesidades específicas.