Pandas: Contabilizar los registros que cumplen una condición en un DataFrame

La semana pasada hemos visto cómo se pueden contabilizar las veces que aparecen los valores nulos (NaN) en un DataFrame de Pandas. En esta ocasión vamos a generalizar el proceso para poder contabilizar los registros que cumplen una condición, sea esta sencilla o toda la compleja que necesitemos usar.

Conjunto de datos de ejemplo

Para trabajar se puede usar el mismo conjunto de datos utilizado la semana pasada, un conjunto de datos que se puede crear con el siguiente código.

import numpy as np
import pandas as pd

users = {'first_name': ['Montgomery', 'Dagmar', 'Reeba', 'Shalom', 'Broddy', 'Aurelia'],
         'last_name': ['Humes', 'Elstow', 'Wattisham', 'Alen', 'Keningham', 'Brechin'],
         'age': [27, np.NaN, 29, np.NaN, 21, 33],
         'gender': ['Male', 'Female', 'Female', np.NaN, 'Male', 'Female']}

df = pd.DataFrame(users)
df

   first_name  last_name   age  gender
0  Montgomery      Humes  27.0    Male
1      Dagmar     Elstow   NaN  Female
2       Reeba  Wattisham  29.0  Female
3      Shalom       Alen   NaN     NaN
4      Broddy  Keningham  21.0    Male
5     Aurelia    Brechin  33.0  Female

El conjunto de datos cuenta con cuatro columnas que se corresponden con el nombre, los apellidos, la edad y el género de uno clientes ficticios. Cada una de las seis filas se corresponde con uno de estos clientes.

En Analytics Lane

La caverna del consumo, o cómo Greenspan miraba calzoncillos para hacer política monetaria – El bestiario de los indicadores económicos absurdos (parte 1)

Comprobar condiciones con apply()

El método apply() que está disponible en todos los DataFrames de Pandas permite ejecutar una función lambda con el código que deseemos. Función que se ejecutará a través de las filas o columnas, según se indique. El resultado de aplicar el método es un nuevo objeto que contendrá los valores devueltos por la función. En el caso de que este sea un valor lógico se podrá usar para contabilizar las filas o columnas que cumplen la condición indicada.

Por ejemplo, se puede buscar todos aquellos clientes que tengan una edad mayor de 25 años, para lo que solamente se tendría que ejecutar el siguiente código.

df.apply(lambda x: x['age'] > 25, axis=1)

0     True
1    False
2     True
3    False
4    False
5     True
dtype: bool

Nótese que se ha usado la propiedad axis igual a 1 para que la operación se realice a través de las filas, por lo que en la variable x de la función lambda se tendrá cada uno de los registros. Así para comprobar si la edad del resigno es superior a un valor solamente se tiene que comprobar en cada caso el resultado, devolviendo un valor verdadero o falso. Al ejecutarse la función tendremos como resultado una serie de valores lógicos. Así, tal como se vio la semana pasada, solamente hay que llamar al método sum() para obtener el número de registros que cumple la condición indicada.

df.apply(lambda x: x['age'] > 25, axis=1).sum()

3

Comprobar operaciones más complejas

Tal como se ha comentado anteriormente la función puede ser todos lo complejas que necesitemos, por lo que se puede comprobar cosas como los registros que son mayores de 25 años o nulos. Algo que se puede hacer mediante el siguiente código.

df.apply(lambda x: x['age'] > 25 or np.isnan(x['age']), axis=1).sum()

5

Conclusiones

En esta ocasión hemos visto cómo se puede crear una serie de valores lógicos con el método apply() y luego este resultado para contabilizar los registros que cumplen con una condición dada. Un método que nos ofrece múltiples posibilidades y amplia lo visto las semana pasada.