Automatizar el análisis de datos con Pandas-Profiling

La librería Pandas-Profiling permite automatizar el análisis de datos en Python. Generando automáticamente informes de los conjuntos de datos contenidos en objetos DataFrame.

Introducción

Una de las primeras tareas a realizar cuando recibimos un nuevo conjunto de datos es un análisis exploratorio del mismo. En el que se incluyen tareas como determinar el rango de cada una de las características, identificar los tipos de datos, así como calcular el porcentaje de valores nulos en cada una de las características. Tareas con las que se busca conocer mejor el conjunto de datos e identificar cualquier tipo de problema que pueda existir. Al trabajar el Python el análisis exploratorio de datos se suele realizar con la librería pandas, ya que cuenta con diferentes funciones. Sin embargo, las funcionalidades de estas son limitadas. Además, como las tareas a realizar son casi siempre las mismas, el proceso es monótono. Por ello, disponer de herramientas que permitan automatizar el análisis exploratorio de datos son siempre interesante.

Instalación de Pandas-Profiling

El paquete Pandas-Profiling no está incluido por defecto en Anaconda, por lo que es necesario instalarlo antes de usarlo. La instalación se puede realizar tanto desde pip, para lo que se puede utilizar la siguiente línea de comandos:

pip install pandas-profiling

Alternativamente también se puede instalar utilizando conda, para lo que se tiene que escribir la siguiente línea.

conda install -c anaconda pandas-profiling

Análisis exploratorio de datos básicos con pandas

Antes de crear un informe es necesario importar un conjunto de datos. A modo de ejemplo se pueden utilizar algunos de los incluidos en la librería seaborn, como puede ser el conjunto de propinas. Para lo que se puede emplear el siguiente código.

from seaborn import load_dataset

df = load_dataset("tips")
df.head()

   total_bill   tip     sex smoker  day    time  size
0       16.99  1.01  Female     No  Sun  Dinner     2
1       10.34  1.66    Male     No  Sun  Dinner     3
2       21.01  3.50    Male     No  Sun  Dinner     3
3       23.68  3.31    Male     No  Sun  Dinner     2
4       24.59  3.61  Female     No  Sun  Dinner     4

Con lo que se puede observar que el conjunto de datos contiene siete características: total_bill, tip, sex, smoker, day, time y size. Uno de los primeros análisis exploratorios que se puede realizar es mediante la propiedad df.describe().

       total_bill         tip        size
count  244.000000  244.000000  244.000000
mean    19.785943    2.998279    2.569672
std      8.902412    1.383638    0.951100
min      3.070000    1.000000    1.000000
25%     13.347500    2.000000    2.000000
50%     17.795000    2.900000    2.000000
75%     24.127500    3.562500    3.000000
max     50.810000   10.000000    6.000000

Un análisis que, a pesar de su utilidad, contiene una información bastante limitada.

Automatizar el análisis exploratorio de datos con Pandas-Profiling

Pandas-Profiling dispone de la clase ProfileReport() con la que se pueden crear automáticamente análisis exploratorios de datos en formato HTML. Este análisis se puede ver en línea, dentro de un notebook o exportar a un archivo en formato HTML. El código que se muestra a continuación guarda los resultados en el archivo output.html.

import pandas_profiling

profile = pandas_profiling.ProfileReport(df)
profile.to_file(outputfile="output.html")

Informe que se puede ver en la siguiente captura de pantalla.

En la primera sección del informe se muestra información general del conjunto de datos. Posteriormente se muestra detalles de cada una de las características incluyendo el número de valores únicos, el número de nulos y estadísticos como valores máximos, mínimos y medias. Además de también se pueden encontrar secciones con datos de correlación y muestras de los datos.

Detalle de los informes

En cada una de las variables se puede encontrar la opción Toggle details para consultar un análisis más detallado. Si la variable es categórica mostrará el detalle de cada uno de los detalles. A modo de ejemplo, a continuación, se muestra el detalle de la variable day.

Mientras que si la variable es numérica se podrá acceder a estadísticas, un histograma, el listado de valores más comunes y los valores extremos. A continuación, se muestra el detalle de la variable size.

Conclusiones

En esta entrada se ha mostrado una herramienta con la que se puede automatizar el análisis de datos en Python. Pandas-Profiling permite conseguir casi automáticamente informes que de otra forma se tardaría horas en realizar. Evitando así dedicar tiempo a tareas monótonas y repetitivas.

Imágenes: Pixabay (Pexels)