• Saltar al contenido principal
  • Skip to secondary menu
  • Saltar a la barra lateral principal
  • Saltar al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Machine Learning
    • Noticias
    • Opinión
    • Productividad
    • Programación
      • JavaScript
      • Julia
      • Matlab
      • Python
      • R
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Noticias
  • Boletín
  • Contacto
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad
    • Tiendas afiliadas
      • AliExpress
      • Amazon
      • Banggood
      • GeekBuying
      • Lenovo

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Machine Learning
  • Python
  • Pandas
  • NumPy
  • Matlab
  • Julia
  • JavaScript
  • Excel

Uso de Pandas Query para filtrar datos de forma sencilla

mayo 2, 2022 Por Daniel Rodríguez Deja un comentario
Tiempo de lectura: 6 minutos

En los DataFrames de Pandas se puede emplear vectores lógicos para seleccionar las filas que cumplen una o varias condiciones. Algo que se puede utilizar para realizar operaciones de filtrado de datos. Aunque esta característica es muy poderosa, existe otra opción con la que generalmente se puede conseguir filtrar los datos de una manera mucho más sencilla: Pandas Query. Un método disponible en los DataFrames de Pandas que evalúa una condición lógica y devuelve el conjunto de datos que la cumple.

Selección tradicional de datos en Pandas

Tal como se ha explicado en más detalle anteriormente, es posible seleccionar las filas de un DataFrame utilizando vectores con valores lógicos. Algo que también se puede hacer cuando los valores son cadenas de texto. Con lo que se puede filtrar valores del conjunto de datos. Así, si se realiza una comparación sobre una columna se pueden seleccionar los datos que la cumplen. Por ejemplo, para seleccionar los exoplanetas del conjunto de datos planets que tienen una masa dada solamente se tiene que ejecutar el siguiente código.

import seaborn as sb

planets = sb.load_dataset('planets')
planets.head()

planets[planets.mass == 10.5]
            method  number  orbital_period  mass  distance  year
4  Radial Velocity       1          516.22  10.5    119.47  2009

Obteniendo como resultado el único planeta con una masa 10.5 la de la tierra

Selección de datos con Pandas Query

Esta misma operación de filtrado se puede realizar de una manera más sencilla con Pandas Query. Para ello solamente se tienen que llamar al método e incluir como parámetro una cadena de texto con la condición, usando el nombre de la columna para identificar aquella sobre la que se realiza la operación. Esto es, escribiendo la siguiente línea de código.

Publicidad


planets.query('mass == 10.5')
            method  number  orbital_period  mass  distance  year
4  Radial Velocity       1          516.22  10.5    119.47  2009

Con lo que se ha obtenido exactamente el mismo resultado que antes. Aunque Pandas Query ofrece muchas más posibilidades.

Uso de varias condiciones

Es posible combinar más de una condición mediante el uso de los diferentes operadores lógicos. Así se pueden seleccionar los exoplanetas descubiertos en 2010 que tengan una masa inferior a 5% de la masa terrestre.

planets.query('year == 2010 and mass < 0.05')
              method  number  orbital_period   mass  distance  year
145  Radial Velocity       4       124.26000  0.046      4.70  2010
149  Radial Velocity       1         2.64561  0.022     19.80  2010
230  Radial Velocity       6         5.75962  0.041     39.39  2010
231  Radial Velocity       6        16.35670  0.038     39.39  2010
399  Radial Velocity       1         9.49400  0.026     21.30  2010
506  Radial Velocity       1         4.64550  0.013     24.05  2010

Como se puede ver simplemente se han escrito las dos condiciones unidad por el operador lógico and.

Comparar cadenas de texto

Los valores de las columnas que se evalúan no tienen por qué ser únicamente numéricas, también se puede comparar con cadenas de texto. Para lo que únicamente se tienen que indicar el valor de la cadena a comparar entrecomillado. De este modo, para obtener los exoplanetas que han descubierto mediante el método Astrometry solamente se tienen que escribir algo como la siguiente línea.

Publicidad


planets.query('method == "Astrometry"')
         method  number  orbital_period  mass  distance  year
113  Astrometry       1          246.36   NaN     20.77  2013
537  Astrometry       1         1016.00   NaN     14.98  2010

Obteniendo como resultado los dos exoplanetas que aparecen en el conjunto de datos.

Uso de variables en las comparaciones

Cuando el valor que se desea comparar se encuentra en una variable no es necesario construir la cadena de texto. El método query() puede evaluar el valor simplemente escribiendo el nombre de la variable precedida de una @. Algo que permite usar el método no sólo para análisis estáticos. Así, para seleccionar los exoplanetas que cuyo método de descubrimiento se ha indicado en una variable se puede emplear algo como lo que se muestra a continuación.

method = 'Orbital Brightness Modulation'

planets.query('method == @method')
                            method  number  orbital_period  mass  distance  year
787  Orbital Brightness Modulation       2        0.240104   NaN    1180.0  2011
788  Orbital Brightness Modulation       2        0.342887   NaN    1180.0  2011
792  Orbital Brightness Modulation       1        1.544929   NaN       NaN  2013

Valores en una lista

Otra posibilidad es seleccionar los valores en una lista gracias al operador in. Por ejemplo, se puede obtener los planetas que se han descubierto con una lista de métodos.

planets.query('method in ["Astrometry", "Orbital Brightness Modulation"]')
                            method  number  orbital_period  mass  distance  year
113                     Astrometry       1      246.360000   NaN     20.77  2013
537                     Astrometry       1     1016.000000   NaN     14.98  2010
787  Orbital Brightness Modulation       2        0.240104   NaN   1180.00  2011
788  Orbital Brightness Modulation       2        0.342887   NaN   1180.00  2011
792  Orbital Brightness Modulation       1        1.544929   NaN       NaN  2013

Lista que obviamente puede estar en una variable. El siguiente código generaría exactamente el mismo resultado.

Publicidad


methods = ["Astrometry", "Orbital Brightness Modulation"]

planets.query('method in @methods')

Identificar valores nulos y no nulos

Para poder identificar los valores que son nulos (o no nulos) es necesario recurrir a un truco. Simplemente se ha de comparar una columna con sigo misma. En los registros que el valor sea nulo esta comparación es falsa, mientras que en resto será verdadera. Esto es algo que se puede ver mejor con un ejemplo. Como se ha visto en la última consulta, existen dos exoplanetas descubiertos por el método Orbital Brightness Modulation de los que se conoce la distancia y uno que no, para seleccionar aquel en el que no se conoce la distancia simplemente se debe escribir.

planets.query('distance != distance and method == "Orbital Brightness Modulation"')
                            method  number  orbital_period  mass  distance  year
792  Orbital Brightness Modulation       1        1.544929   NaN       NaN  2013

Por otro lado, para seleccionar aquellos en los que la distancia es conocida se debería escribir.

planets.query('distance == distance and method == "Orbital Brightness Modulation"')
                            method  number  orbital_period  mass  distance  year
787  Orbital Brightness Modulation       2        0.240104   NaN    1180.0  2011
788  Orbital Brightness Modulation       2        0.342887   NaN    1180.0  2011

Valores con cadenas de texto

Para seleccionar los valores que contengan dentro de la cadena un texto es necesario recurrir a los métodos de las clases de Python. Siendo necesario indicarle al método que use Python como motor de ejecución. Así se puede usar str.contains() para localizar los métodos que contienen la cadena Variations.

planets.query('method.str.contains("Variations")', engine='python')
                          method  number  orbital_period  mass  distance  year
32     Eclipse Timing Variations       1      10220.0000  6.05       NaN  2009
37     Eclipse Timing Variations       2       5767.0000   NaN    130.72  2008
38     Eclipse Timing Variations       2       3321.0000   NaN    130.72  2008
39     Eclipse Timing Variations       2       5573.5500   NaN    500.00  2010
40     Eclipse Timing Variations       2       2883.5000   NaN    500.00  2010
41     Eclipse Timing Variations       1       2900.0000   NaN       NaN  2011
42     Eclipse Timing Variations       1       4343.5000  4.20       NaN  2012
43     Eclipse Timing Variations       2       5840.0000   NaN       NaN  2011
44     Eclipse Timing Variations       2       1916.2500   NaN       NaN  2011
680    Transit Timing Variations       2        160.0000   NaN   2119.00  2011
736    Transit Timing Variations       2         57.0110   NaN    855.00  2012
749    Transit Timing Variations       3             NaN   NaN       NaN  2014
813    Transit Timing Variations       2         22.3395   NaN    339.00  2013
958  Pulsation Timing Variations       1       1170.0000   NaN       NaN  2007

Nombres de columnas con espacios

Aunque no es el caso del ejemplo, los nombres de las columnas de los DataFrame de Pandas admiten nombres con espacios en blanco. Algo que no es recomendable. Para filtrar en base a estas columnas tiene que envolver el nombre entre comillas invertidas ("). Así, si se cambia el nombre de la columna orbital_period por orbital period se puede seguir usando Pandas Query sin mayor problema.

Publicidad


planets.columns = ['method', 'number', 'orbital period', 'mass', 'distance', 'year']

planets.query('`orbital period` < 0.5')
                            method  number  orbital period  mass  distance  year
730                        Transit       3        0.453285   NaN      38.7  2011
787  Orbital Brightness Modulation       2        0.240104   NaN    1180.0  2011
788  Orbital Brightness Modulation       2        0.342887   NaN    1180.0  2011
794                        Transit       1        0.355000   NaN       NaN  2013
945                  Pulsar Timing       1        0.090706   NaN    1200.0  2011

Conclusiones

Hoy hemos visto un método disponible en los DataFrame Pandas para filtrar los datos de forma sencilla. Con lo que estas operaciones tan habituales pueden realizarse de una forma eficiente. ¿Opinas que Pandas Query es más sencillo o no? Puedes dejar tus opiniones en los comentarios.

Imagen de S. Hermann & F. Richter en Pixabay

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 0 / 5. Votos emitidos: 0

Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

Publicidad


¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Publicaciones relacionadas

  • pandas
    Eliminar las filas con valores nulos en Pandas
  • spices
    Como filtrar en base a listas o DataFrames en Pandas
  • sky
    Numpy básico: el método numpy.where()
  • ice-cream
    Selección condicional con Pandas
  • background
    Seleccionar filas y columnas en Pandas con iloc y loc
  • NumPy
    NumPy: La función reshape de NumPy con ejemplos

Publicado en: Python Etiquetado como: Pandas

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Publicidad





Barra lateral principal

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

Analytics Lane en redes sociales

  • Amazon
  • Facebook
  • GitHub
  • Instagram
  • Pinterest
  • RSS
  • Twitter
  • Tumblr
  • YouTube

Publicidad

Entradas recientes

Tutorial básico de Traceroute

diciembre 8, 2023 Por Daniel Rodríguez

Usar el depurador de Visual Studio Code con Jest

diciembre 6, 2023 Por Daniel Rodríguez

Análisis de datos con GPT en Pandas

diciembre 4, 2023 Por Daniel Rodríguez

Publicidad

Es tendencia

  • Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas publicado el mayo 10, 2019 | en Python
  • Seleccionar filas y columnas en Pandas con iloc y loc publicado el junio 21, 2019 | en Python
  • Truco: Reproducir sonidos en Python publicado el febrero 28, 2022 | en Python
  • pandas Pandas: Obtener el nombre de las columnas y filas en Pandas publicado el diciembre 7, 2020 | en Python
  • Duplicado Eliminar registros duplicados en pandas publicado el junio 20, 2018 | en Python

Publicidad

Lo mejor valorado

4.9 (22)

Seleccionar filas y columnas en Pandas con iloc y loc

4.7 (12)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

4.6 (15)

Archivos JSON con Python: lectura y escritura

4.5 (10)

Diferencias entre var y let en JavaScript

4.4 (13)

Ordenación de diccionarios en Python mediante clave o valor

Publicidad

Comentarios recientes

  • Anto en Rendimiento al iterar en JavaScript sobre un vector
  • Daniel Rodríguez en Creación de un certificado Let’s Encrypt en Windows con Win-Acme
  • Guillermo en Creación de un certificado Let’s Encrypt en Windows con Win-Acme
  • Daniel Rodríguez en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • Miguel en ¿Cómo eliminar columnas y filas en un dataframe pandas?

Publicidad

Footer

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Libros
  • Lo más popular
  • Noticias
  • Tienda
  • Tiendas afiliadas

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Machine Learning
  • Opinión
  • Productividad
  • Programación
  • Reseñas

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Copyright © 2018-2023 Analytics Lane ·Términos y condiciones ·Política de Cookies ·Política de Privacidad ·Herramientas de privacidad ·Contacto