Ejecutar consultas SQL en Pandas

La manipulación de datos es un aspecto clave dentro de la ciencia de datos. Aunque la biblioteca Pandas ofrece múltiples herramientas para procesar datos tabulares, puede que en algunos casos sea más adecuado el uso de lenguaje SQL para realizar análisis complejos. Ya que SQL es un lenguaje diseñado para la manipulación de bases de datos. Aquí es donde entra en juego la pandasql, una biblioteca que permite realizar consultas SQL en Pandas sobre los conjuntos de datos.

Instalación de pandasql

La instalación de pandasql se puede hacer, como es habitual en Python, a través del comando pip. Para ello solo se tiene que abrir una terminal y ejecutar.

pip install pandasql

Alternativamente, para aquellos que usan una distribución basada en Conda también se puede instalar la biblioteca mediante el comando conda. En este caso se debe escribir ejecutar en una terminal el siguiente comando.

conda install pandasql

Lanzar consultas SQL en Pandas

Una vez instalado pandasql ya se puede importar la función sqldf de la biblioteca y pasarle a esta una consulta SQL para que la ejecute. No es necesario ninguna configuración adicional. En la consulta se puede usar cualquier DataFrame cargado en memoria como una tabla, llamado por el nombre de la variable en la que se ha cargado, y las columnas de este como los campos de la tabla. Algo que se puede poner en práctica. Por ejemplo, en el siguiente código se importa el conjunto de datos planets de Seaborn y crear una consulta que seleccione los 5 con una masa mayor.

import seaborn as sns
from pandasql import sqldf

# Importación del cojunto de datos planets
planets = sns.load_dataset('planets')

sqldf('SELECT * FROM planets ORDER BY mass desc LIMIT 5;')

            method  number  orbital_period   mass  distance  year
0  Radial Velocity       1         2371.00  25.00     37.05  2008
1  Radial Velocity       2          379.63  21.42       NaN  2009
2  Radial Velocity       1          305.50  20.60     92.51  2013
3  Radial Velocity       1          677.80  19.80       NaN  2007
4  Radial Velocity       1          326.03  19.40    110.62  2007

En este caso la consulta es sencilla SELECT * FROM planets ORDER BY mass desc LIMIT 5;, pero se puede hacer todo lo compleja que sea necesaria. Por ejemplo, se podría obtener el número de exoplanetas descubiertos en base a cada uno de los métodos.

sqldf("""SELECT method, COUNT(*) as num_exoplanetas
FROM planets
GROUP BY method
ORDER BY num_exoplanetas DESC;
""")

                          method  num_exoplanetas
0                Radial Velocity              553
1                        Transit              397
2                        Imaging               38
3                   Microlensing               23
4      Eclipse Timing Variations                9
5                  Pulsar Timing                5
6      Transit Timing Variations                4
7  Orbital Brightness Modulation                3
8                     Astrometry                2
9    Pulsation Timing Variations                1

Sin olvidar que la salida de la función `sqldf()` es un DataFrame que se puede procesar posteriormente como cualquier otro.

df = sqldf("""SELECT method, COUNT(*) as num_exoplanetas
FROM planets
GROUP BY method
ORDER BY num_exoplanetas DESC;
""")

df.head()

                      method  num_exoplanetas
0            Radial Velocity              553
1                    Transit              397
2                    Imaging               38
3               Microlensing               23
4  Eclipse Timing Variations                9

Conclusiones

Pandasql es una herramienta fantástica para aquellos usuarios que están acostumbrados a trabajar con consultas SQL. Al proporcionar una interfaz SQL intuitiva para Pandas. Esta integración permite a los científicos de datos acostumbrado a trabajar con SQL usar sus conocimientos para realizar fácilmente análisis complejos. Aprovechando las habilidades adquiridas con SQL.

Imagen de Maryse Rebaudo en Pixabay