Es posible que al importar un conjunto de datos en un DataFrame de Pandas este tenga algunos valores nulos, generalmente representados por NaN. La existencia de este tipo de valores en los datos es un problema. Cualquier operación en la que se usen estos valores da como resultado NaN, salvo cuando es posible indicar que se ignoren. Por eso es aconsejable saber cómo contar los valores nulos en DataFrame e identificar en las filas y columnas en las que se encuentran.
Conjunto de datos de ejemplo
Antes de continuar es necesario crear un conjunto de datos con algunos valores nulos. Para lo que se emplea el conjunto de datos usado habitualmente donde se reemplazarán algunos de los valores por np.NaN de NumPy. Así se puede usar el siguiente conjunto de datos a nivel de ejemplo.
import numpy as np
import pandas as pd
users = {'first_name': ['Montgomery', 'Dagmar', 'Reeba', 'Shalom', 'Broddy', 'Aurelia'],
'last_name': ['Humes', 'Elstow', 'Wattisham', 'Alen', 'Keningham', 'Brechin'],
'age': [27, np.NaN, 29, np.NaN, 21, 33],
'gender': ['Male', 'Female', 'Female', np.NaN, 'Male', 'Female']}
df = pd.DataFrame(users)
dffirst_name last_name age gender 0 Montgomery Humes 27.0 Male 1 Dagmar Elstow NaN Female 2 Reeba Wattisham 29.0 Female 3 Shalom Alen NaN NaN 4 Broddy Keningham 21.0 Male 5 Aurelia Brechin 33.0 Female
En este caso es fácil ver que hay tres valores nulos, dos en la columna de edad y uno en la de género. Algo que se puede comprobar fácilmente con los métodos de Pandas.
El método isnull()
Los DataFrames de Pandas disponen del el método isnull(). Un método que devuelve un DataFrame con las mismas dimensiones que el original, pero con valores booleanos indicando si los registros originales son o no nulos. Por lo que si aplicamos el método al DataFrame anterior se puede comprobar qué valores son nulos.
df.isnull()
first_name last_name age gender 0 False False False False 1 False False True False 2 False False False False 3 False False True True 4 False False False False 5 False False False False
Contar los valores nulos en DataFrame
Ahora se puede usar el método sum() para obtener el número de registros nulos por columna.
df.isnull().sum()
first_name 0 last_name 0 age 2 gender 1 dtype: int64
Comprobando de este modo que hay dos nulos en la columna edad y otro género. Aunque, si se utiliza la propiedad axis es posible obtener también el número de registros por fila en su lugar.
df.isnull().sum(axis=1)
0 0 1 1 2 0 3 2 4 0 5 0 dtype: int64
Ahora sabemos que son la segunda y cuarta filas las que tienen valores nulos, además de el número de apariciones en cada una.
Finalmente, si se desea obtener el número total de nulos solamente se tiene que volver a aplicar el método sum() a los resultados.
df.isnull().sum().sum()
3
Obtener el número de filas o columnas con nulos
En el ejemplo hay una fila que tiene dos nulos y otra tiene solamente uno. Lo mismo aplica a las filas. Generalmente nos interesa saber el número de filas que tienen algún valor nulo, ya que posiblemente sean las que necesitemos eliminar. Para conocer este dado se puede usar el método any() de los DataFrame que nos indica si las columnas o filas tienen algún valor verdadero. Por defecto este método agrega columnas, pero al igual que en otras ocasiones, este comportamiento se puede modificar mediante la propiedad axis. Así se puede obtener las filas que tiene algún valor nulo mediante
df.isnull().any(axis=1)
0 False 1 True 2 False 3 True 4 False 5 False dtype: bool
Ahora, solamente hay que usar el método sum() para contar el número de verdaderos.
df.isnull().any(axis=1).sum()
2
Conclusiones
Hoy hemos visto cómo se pueden contar los valores nulos en DataFrames e identificar las filas y las columnas donde se encuentran. Algo que se puede hacer fácilmente gracias a varios métodos de Pandas como isnull(), sum() y any(). La semana que viene veremos como extender estar operaciones para evaluar cualquier posible condición que se nos pueda ocurrir.
Deja una respuesta