Eliminar las filas con valores nulos en Pandas

Cuando se importa un conjunto de datos en un DataFrame de Pandas es posible que existan valores nulos. Cuya presencia puede afectar a las conclusiones de los análisis que se desean realizar. Para evitar esto una posible solución es eliminar las filas con valores nulos, tanto sea en una única columna, en cualquiera o en un subconjunto.

Conjuntos de datos con valores nulos en Pandas

Los valores nulos en los DataFrames de Pandas se suelen representar mediante NaN (de inglés Not a Number). Si se incluyen estos valores en muchas funciones estadistas el valor resultante será también NaN (salvo que exista la posibilidad de ignorar estos valores y se indique) ya que no se puede operar con ellos. El origen de los valores nulos en un conjunto de datos puede deberse a múltiples factores (captura de datos, operaciones incorrectas como divisiones por cero, etc.), pero su presencia siempre es un problema.

Para ver cómo se pueden eliminar las filas con valores nulos en Pandas se puede crear un conjunto de datos como el que se muestra en el siguiente ejemplo en el que se crean los datos de diferentes usuarios.

import pandas as pd
import numpy as np

# Creamos un DataFrame con algunas filas y columnas
df = pd.DataFrame({
    'Nombre': ['Juan', 'María', 'Pedro', 'Ana', 'Laura', 'Miguel'],
    'Edad': [np.nan, 25, np.nan, 30, 40, np.nan],
    'Ciudad': ['Madrid', 'Barcelona', 'Madrid', 'Sevilla', np.nan, 'Valencia'],
    'Puntuación': [np.nan, 8.5, np.nan, 7.5, 7.7, 7.9]
})

df

   Nombre  Edad     Ciudad  Puntuación
0    Juan   NaN     Madrid         NaN
1   María  25.0  Barcelona         8.5
2   Pedro   NaN     Madrid         NaN
3     Ana  30.0    Sevilla         7.5
4   Laura  40.0        NaN         7.7
5  Miguel   NaN   Valencia         7.9

Eliminar las filas con valores nulos en Pandas

En los objetos DataFrame de Pandas existe el método dropna() con la que se puede eliminar todas las filas en las que aparece por lo menos un NaN. Así, para eliminar todas las filas con valores nulos en el ejemplo anterior solamente se debería ejecutar la siguiente línea.

df.dropna()

  Nombre  Edad     Ciudad  Puntuación
1  María  25.0  Barcelona         8.5
3    Ana  30.0    Sevilla         7.5

Obteniendo como resultado las dos únicas filas en las que todos los datos no son nulos.

Eliminar las filas solo con algunos valores nulos

En el ejemplo anterior es posible que la presencia de valores nulos en algunas columnas no sea un problema. Por ejemplo, si se desea obtener la puntuación media la falta de datos en las columnas Edad o Ciudad no sería un problema. Para estos casos el método tiene la propiedad subset con la que se puede indicar que solamente busque nulos en una o varias columnas. Lo que se muestra en el siguiente ejemplo.

df.dropna(subset=['Puntuación'])

   Nombre  Edad     Ciudad  Puntuación
1   María  25.0  Barcelona         8.5
3     Ana  30.0    Sevilla         7.5
4   Laura  40.0        NaN         7.7
5  Miguel   NaN   Valencia         7.9

Con lo que se eliminan únicamente las filas con NaN en la columna Puntuación. Si se desea eliminar también los registros con NaN en la columna Edad solamente se debe agregar está a la lista que se le pasa al parámetro subset. Opción que se muestra en el siguiente código.

df.dropna(subset=['Edad', 'Puntuación'])

  Nombre  Edad     Ciudad  Puntuación
1  María  25.0  Barcelona         8.5
3    Ana  30.0    Sevilla         7.5
4  Laura  40.0        NaN         7.7

Eliminar filas con un mínimo de nulos

Otra opción que puede ser interesante es eliminar únicamente la filas en las que hay un mínimo de valores nulos. Lo que se puede conseguir con la propiedad thresh. Mediante esta propiedad se le puede indicar al método dropna() el número de columnas con valores no nulos que debe tener una columna para que no sea eliminada. Así, en el ejemplo anterior, si se indica 3 solamente se eliminarán los registros en los que hay dos nulos. Una forma genérica, cuando no se conoce a priori el tamaño del conjunto de datos, de hacer esto sería restando el valor de nulos al tamaño del DataFrame. Algo que se puede ver en el siguiente ejemplo.

df.dropna(thresh=df.shape[1]-1)

   Nombre  Edad     Ciudad  Puntuación
1   María  25.0  Barcelona         8.5
3     Ana  30.0    Sevilla         7.5
4   Laura  40.0        NaN         7.7
5  Miguel   NaN   Valencia         7.9

Por lo que el resultado obtenido puede contener un NaN en algunas columnas, pero no en dos o más.

Conjuntos de datos grandes

El método dropna(), al igual que otros de los DataFrames, dispone de la opción inplace para realizar el filtrado en el mismo objeto, en lugar de crear uno nuevo. Esta es una propiedad que es útil cuando se trabaja con grandes conjuntos de datos, evitando tener varias copias de los datos en memoria.

Conclusiones

El método dropna() permite eliminar las filas con valores nulos en los DataFrame de Pandas. Un método que cuenta con varias opciones con las que es posible afinar a la hora de seleccionar los registros que pueden ser utilizados en un análisis. Lo que convierte a este método en una herramienta importante a la hora de realizar un análisis de datos.