Agrupación de datos por fecha en pandas

A la hora de analizar conjuntos de datos es habitual encontrarse con series temporales. En estas ocasiones suele ser interesante poder obtener de una forma rápida información estadística de los registros, como puede el número de ocurrencias por mes. En Python se encuentran disponibles diferentes herramientas para poder realizar la agrupación por fecha en pandas. Conocer el funcionamiento de estas herramientas permite realizar los análisis de una forma rápida y fácil.

Creación de un conjunto de datos de ejemplo

El primer lugar se ha de crear un conjunto de datos de ejemplo. Para ello se puede crear un vector con todos los días de 2018. Este conjunto de datos se puede añadir un valor aleatorio para cada uno de los días, por ejemplo, utilizando enteros entre 0 y 100. Una vez generados los dos vectores, estos se guardarán en dataframe en el que se guarde ambos y se le asigne la fecha como índice.

import datetime
import numpy as np
import pandas as pd

df = pd.DataFrame()

date = [datetime.datetime(2018, 1, 1) + datetime.timedelta(days=x) for x in range(0, 365)]
value = list(np.random.randint(low=0, high=100, size=365))

df['date'] = pd.to_datetime(date)
df.index = df['date']
df['value'] = value

Los primeros cinco registros de este dataframe son:

  date  value
date  
2018-01-01 2018-01-01 35
2018-01-02 2018-01-02 70
2018-01-03 2018-01-03 19
2018-01-04 2018-01-04 66
2018-01-05 2018-01-05 96

Agrupación por fecha en pandas de un dataframe

Ahora se puede utilizar el método resample() del dataframe para agrupar los registros y posteriormente obtener la suma de los registros. El método resample() requiere que se le indique un cómo realizar la agregación, entre las opciones más utilizadas se encuentran:

• D: Día natural
• B: Día hábil
• W: semanal (último día de la semana)
• M: mensual (último día del mes)
• SM: bimensual (el día 15 y último del mes)
• Q: trimestral (último día del trimestre)

El listado completo de las opciones disponibles se puede encontrar en la documentación de pandas (http://pandas.pydata.org/pandas-docs/stable/timeseries.html). Por ejemplo, para obtener la media trimestral de los datos por trimestre se puede utilizar:

df.resample('Q').mean()

  value
date 
2018-03-31 53.933333
2018-06-30 47.615385
2018-09-30 46.554348
2018-12-31 51.836957

Agrupación por fecha en pandas de utilizando groupby()

Un método alternativo a resample() para la agrupación por fecha es groupby(). En esta ocasión se ha de crear un valor sobre el que se puede agrupar a partir de la fecha. Para esto se pueden utilizar los métodos que se encuentran en los dt de los dataframe. Por ejemplo, para obtener el trimestre de las fechas de un dataframe se puede utilizar la instrucción

df['date'].dt.quarter

Gracias a esto se pueden obtener los mismos resultados que anteriormente.

df.groupby(df['date'].dt.quarter).mean()

  value
date 
1  53.933333
2  47.615385
3  46.554348
4  51.836957

A partir de aquí se pueden representar los datos gráficamente utilizando el método plot().

Diferencias entre resample() y groupby()

Se ha de tener en cuenta que al utilizar resample() siempre se utiliza una fecha, mientras que al groupby() se utiliza un valor que se ha transformado previamente. Esta segunda opción ofrece más opciones, ya que se puede agrupar por mes independientemente del año. Por ejemplo, si se crea un nuevo conjunto de datos con dos años:

df = pd.DataFrame()

date = [datetime.datetime(2018, 1, 1) + datetime.timedelta(days=x) for x in range(0, 730)]
value = list(np.random.randint(low=0, high=100, size=730))

df['date'] = pd.to_datetime(date)
df.index = df['date']
df['value'] = value

Utilizando resample() se obtiene

  value
date  
2018-03-31 44.566667
2018-06-30 52.857143
2018-09-30 47.206522
2018-12-31 52.630435
2019-03-31 50.788889
2019-06-30 44.857143
2019-09-30 46.097826
2019-12-31 51.630435

Mientras que al utilizar groupby() se obtienen los siguientes resultados

  value
date 
1  47.677778
2  48.857143
3  46.652174
4  52.130435

Conclusiones

En esta entrada se han visto dos métodos para agregar dataframes en función de la fecha. Esto permite obtener análisis estadísticos como puede ser la cantidad de ocurrencias, la media, el máximo, el mínimo, etc. El método seleccionado dependerá en cierta medida de los resultados que se deseen y las preferencias personales.

Imágenes: Pixabay (webandi)