Transformación de datos con Pyjanitor: Potenciando el análisis de datos

La transformación de los datos es una fase crucial en cualquier proyecto de ciencia de datos. Preparar los datos de entrada para que tengan un formato adecuado para el análisis que se desea realizar puede ser la diferencia entre el éxito o fracaso del proyecto. La biblioteca Pyjanitor ofrece varios métodos para simplificar y optimizar este proceso. En esta entrada, se explicarán las opciones existen para la transformación de datos con Pyjanitor y cómo pueden mejorar los procesos de análisis de datos.

En esta entrada es parte de una serie sobre la biblioteca Pyjanitor, el resto de las publicaciones son:

1. Introducción a Pyjanitor
2. Limpieza de datos con Pyjanitor
3. Transformación de datos con Pyjanitor
4. Visualización de datos con Pyjanitor y Matplotlib o Seaborn

Importación de un conjunto de datos de ejemplo

Al igual que en las entradas anteriores de esta serie, se va a utilizar el conjunto clásico de datos Titanic. Para facilitar seguir los ejemplos, estos datos se pueden importar desde un URL directamente con Pandas como se muestra en el siguiente código.

import pandas as pd

# URL del nuevo conjunto de datos de ventas
url = 'https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv'

# Cargar el conjunto de datos en un DataFrame
titanic = pd.read_csv(url)

# Mostrar las primeras filas del DataFrame para verificar la carga exitosa
titanic.head()

   PassengerId  Survived  Pclass  \
0            1         0       3   
1            2         1       1   
2            3         1       3   
3            4         1       1   
4            5         0       3   

                                                Name     Sex   Age  SibSp  \
0                            Braund, Mr. Owen Harris    male  22.0      1   
1  Cumings, Mrs. John Bradley (Florence Briggs Th...  female  38.0      1   
2                             Heikkinen, Miss. Laina  female  26.0      0   
3       Futrelle, Mrs. Jacques Heath (Lily May Peel)  female  35.0      1   
4                           Allen, Mr. William Henry    male  35.0      0   

   Parch            Ticket     Fare Cabin Embarked  
0      0         A/5 21171   7.2500   NaN        S  
1      0          PC 17599  71.2833   C85        C  
2      0  STON/O2. 3101282   7.9250   NaN        S  
3      0            113803  53.1000  C123        S  
4      0            373450   8.0500   NaN        S  

Una vez importados los datos, se puede explorar las técnicas que existen para la transformación de datos con Pyjanitor

En Analytics Lane

¿Qué métrica deberías mirar: exactitud, precisión o recall? Elegir bien empieza por entender el problema

Agregar los datos con Pyjanitor

Ahora se puede analizar cómo Pyjanitor facilita la agregación de datos de DataFrames de Pandas. Por ejemplo, si se desea calcular la cantidad de pasajeros que sobrevivieron y murieron en cada clase se puede conseguir simplemente con el siguiente código.

import janitor

# Calcular la cantidad de pasajeros sobrevivientes y fallecidos por clase
aggregated_data = (
    titanic
    .groupby('Pclass')
    .agg(survived=('Survived', 'sum'), died=('Survived', lambda x: x.count() - x.sum()))
    .reset_index()
)

# Mostrar los resultados de la agregación
print(aggregated_data)

   Pclass  survived  died
0       1       136    80
1       2        87    97
2       3       119   372

En este ejemplo, se ha utilizado el método groupby() para agrupar los datos en base a la columna ’Pclass' (la clase en la que embarcó el pasajero). A continuación, se emplea el método agg() para agregar la información relevante. Para este ejemplo la suma de los pasajeros que han sobrevivido y el recuento de los pasajeros fallecidos en cada clase. Finalmente, el método reset_index() se aplica para restablecer el índice del DataFrame resultante.

Funciones de agregación de datos en Pyjanitor

Como se ha visto en el ejemplo anterior, Pyjanitor ofrece una serie de funciones para realizar la agregación de datos en los DataFrames de Pandas de una forma eficiente. Mejorando las capacidades de Pandas para realizar cálculos agregados. Además proporcionan una sintaxis simplificada para realizar operaciones comunes de agregación, la cual también mejora la legibilidad del código. A continuación, se muestran los métodos más importantes de la biblioteca:

• groupby(): El método groupby() de Pyjanitor se utiliza para agrupar los datos por una o más columnas. Esto crea un objeto GroupBy que luego se puede utilizar para realizar operaciones de agregación.
• agg(): Una vez que los datos están agrupados, el método agg() se utiliza para aplicar una o más funciones de agregación a los grupos de datos. Estas funciones pueden ser funciones predefinidas de Python, como sum(), mean(), min(), max(), entre otras, o funciones personalizadas definidas por el usuario.
• transform_column(): Este método se utiliza para aplicar transformaciones a columnas específicas en un DataFrame después de realizar una operación de agregación. Esto puede ser útil para calcular nuevas columnas basadas en los resultados de la agregación.

Uso de funciones personalizadas para la agregación de datos

Como se ha comentado anteriormente, además de las funciones de agregación predefinidas, Pyjanitor permite la definición y aplicación de funciones personalizadas para realizar agregaciones más complejas.

Ahora, supongamos que se desea calcular la edad promedio de los pasajeros que sobrevivieron y murieron en cada clase de pasajero, pero también queremos tener en cuenta solo a los pasajeros adultos, es decir, aquellos mayores de 18 años. Para esto no se puede usar la función mean(), es necesario crear una función personalizada que tenga en cuenta la condición adicional:

# Definir una función personalizada para calcular la edad promedio de los pasajeros adultos
def avg_age_adults(series):
    return series[series > 18].mean()

# Calcular la edad promedio de pasajeros adultos que sobrevivieron y fallecieron por clase
aggregated_data = (
    titanic
    .groupby('Pclass')
    .agg(avg_age_survived=('Age', lambda x: avg_age_adults(x[titanic['Survived'] == 1])),
         avg_age_died=('Age', lambda x: avg_age_adults(x[titanic['Survived'] == 0])))
    .reset_index()
)

# Mostrar los resultados de la agregación
print(aggregated_data)

   Pclass  avg_age_survived  avg_age_died
0       1         38.120370     44.782258
1       2         33.225000     34.702381
2       3         28.192308     30.849282

En este ejemplo, se define una función personalizada avg_age_adults() que calcula la edad promedio solo para pasajeros mayores de 18 años. Luego, se emplea esta función personalizada en la agregación para calcular la edad promedio de pasajeros adultos que sobrevivieron y murieron en cada clase. Resultados que son diferentes a lo que se obtiene con la función mean que incluye todos los pasajeros.

# Calcular la edad promedio de pasajeros adultos que sobrevivieron y fallecieron por clase
aggregated_data = (
    titanic
    .groupby('Pclass')
    .agg(avg_age_survived=('Age', lambda x: x[titanic['Survived'] == 1].mean()),
         avg_age_died=('Age', lambda x: x[titanic['Survived'] == 0].mean()))
    .reset_index()
)

# Mostrar los resultados de la agregación
print(aggregated_data)

   Pclass  avg_age_survived  avg_age_died
0       1         35.368197     43.695312
1       2         25.901566     33.544444
2       3         20.646118     26.555556

Conclusiones

En esta ocasión se ha visto los métodos disponibles para la transformación de datos con Pyjanitor. Una colección que es potente al mismo tiempo que flexible. Los métodos que ofrece Pyjanitor permiten obtener de una forma sencilla y fácil de entender complejos análisis que de otra manera serían mucho más difíciles de realizar.

En la próxima entrada, última de esta serie, se explicará cómo integrar Pyjanitor con Matplotlib y Seaborn.

Imagen de Ryan McGuire en Pixabay