Pandas: Contar los valores nulos en DataFrame

Es posible que al importar un conjunto de datos en un DataFrame de Pandas este tenga algunos valores nulos, generalmente representados por NaN. La existencia de este tipo de valores en los datos es un problema. Cualquier operación en la que se usen estos valores da como resultado NaN, salvo cuando es posible indicar que se ignoren. Por eso es aconsejable saber cómo contar los valores nulos en DataFrame e identificar en las filas y columnas en las que se encuentran.

Conjunto de datos de ejemplo

Antes de continuar es necesario crear un conjunto de datos con algunos valores nulos. Para lo que se emplea el conjunto de datos usado habitualmente donde se reemplazarán algunos de los valores por np.NaN de NumPy. Así se puede usar el siguiente conjunto de datos a nivel de ejemplo.

import numpy as np
import pandas as pd

users = {'first_name': ['Montgomery', 'Dagmar', 'Reeba', 'Shalom', 'Broddy', 'Aurelia'],
         'last_name': ['Humes', 'Elstow', 'Wattisham', 'Alen', 'Keningham', 'Brechin'],
         'age': [27, np.NaN, 29, np.NaN, 21, 33],
         'gender': ['Male', 'Female', 'Female', np.NaN, 'Male', 'Female']}

df = pd.DataFrame(users)
df

   first_name  last_name   age  gender
0  Montgomery      Humes  27.0    Male
1      Dagmar     Elstow   NaN  Female
2       Reeba  Wattisham  29.0  Female
3      Shalom       Alen   NaN     NaN
4      Broddy  Keningham  21.0    Male
5     Aurelia    Brechin  33.0  Female

En este caso es fácil ver que hay tres valores nulos, dos en la columna de edad y uno en la de género. Algo que se puede comprobar fácilmente con los métodos de Pandas.

El método isnull()

Los DataFrames de Pandas disponen del el método isnull(). Un método que devuelve un DataFrame con las mismas dimensiones que el original, pero con valores booleanos indicando si los registros originales son o no nulos. Por lo que si aplicamos el método al DataFrame anterior se puede comprobar qué valores son nulos.

df.isnull()

   first_name  last_name    age  gender
0       False      False  False   False
1       False      False   True   False
2       False      False  False   False
3       False      False   True    True
4       False      False  False   False
5       False      False  False   False

Contar los valores nulos en DataFrame

Ahora se puede usar el método sum() para obtener el número de registros nulos por columna.

df.isnull().sum()

first_name    0
last_name     0
age           2
gender        1
dtype: int64

Comprobando de este modo que hay dos nulos en la columna edad y otro género. Aunque, si se utiliza la propiedad axis es posible obtener también el número de registros por fila en su lugar.

df.isnull().sum(axis=1)

0    0
1    1
2    0
3    2
4    0
5    0
dtype: int64

Ahora sabemos que son la segunda y cuarta filas las que tienen valores nulos, además de el número de apariciones en cada una.

Finalmente, si se desea obtener el número total de nulos solamente se tiene que volver a aplicar el método sum() a los resultados.

df.isnull().sum().sum()

3

Obtener el número de filas o columnas con nulos

En el ejemplo hay una fila que tiene dos nulos y otra tiene solamente uno. Lo mismo aplica a las filas. Generalmente nos interesa saber el número de filas que tienen algún valor nulo, ya que posiblemente sean las que necesitemos eliminar. Para conocer este dado se puede usar el método any() de los DataFrame que nos indica si las columnas o filas tienen algún valor verdadero. Por defecto este método agrega columnas, pero al igual que en otras ocasiones, este comportamiento se puede modificar mediante la propiedad axis. Así se puede obtener las filas que tiene algún valor nulo mediante

df.isnull().any(axis=1)

0    False
1     True
2    False
3     True
4    False
5    False
dtype: bool

Ahora, solamente hay que usar el método sum() para contar el número de verdaderos.

df.isnull().any(axis=1).sum()

2

Conclusiones

Hoy hemos visto cómo se pueden contar los valores nulos en DataFrames e identificar las filas y las columnas donde se encuentran. Algo que se puede hacer fácilmente gracias a varios métodos de Pandas como isnull(), sum() y any(). La semana que viene veremos como extender estar operaciones para evaluar cualquier posible condición que se nos pueda ocurrir.