Uno de los problemas más habituales con el que podemos encontrarnos a la hora de trabajar con un conjunto de datos es la existencia de registros con valores nulos. Pudiendo ser necesario imputar un valor a estos registros para poder usarlos en un posterior análisis. Por eso en Scikit-learn existen varias clases con las que se puede realizar la imputación de valores nulos en Python. Clases que utilizan estadísticos básicos como la media, la mediana o la moda y otras que basadas en algoritmos más avanzados como pueden ser los k-vecinos.
Antes de realizar la imputación de datos es necesario crear un conjunto de datos al que le falte valores. Algo que se puede hacer con el siguiente ejemplo.
import numpy as np
import pandas as pd
data = pd.DataFrame({'id': [1, 2, 3, 4, 5, 6, 7, 8, 9],
'area': [1, 2, 3, 1, 2, 3, 1, 2, 3],
'age': [32, 30, np.nan, 23, 27, 44, 67, 23, np.nan],
'amount': [102, 121, 343, np.nan, 121, np.nan, 155, 149, 221]}) id area age amount 0 1 1 32.0 102.0 1 2 2 30.0 121.0 2 3 3 NaN 343.0 3 4 1 23.0 NaN 4 5 2 27.0 121.0 5 6 3 44.0 NaN 6 7 1 67.0 155.0 7 8 2 23.0 149.0 8 9 3 NaN 221.0
En este conjunto de datos hay cuatro columnas y en dos de ellas (age y amount) faltan registros. Registros que tienen un valor NaN. Nótese que solamente se han utilizado valores numéricos, esto es porque las clases de imputación no pueden trabajar con cadenas de texto.
La clase más sencilla para realizar la imputación de valores nulos es SimpleImputer.Una clase con la que se puede imputar un mismo valor a todos los registros nulos de una columna. Valor que puede ser tanto un estadístico como la media, la mediana o la moda, como un valor constante que se indique. El método de cálculo se indica con la propiedad strategy que puede recibir como valor: mean, median, most_frequent o constant. En el caso de que el valor sea constant es necesario indicar mediante la propiedad fill_value.
Así se puede imputar por ejemplo los valores nulos en el conjunto de datos anterior utilizado el siguiente código.
from sklearn.impute import SimpleImputer simple = SimpleImputer().fit(data) mean = simple.transform(data)
id area age amount 0 1.0 1.0 32.000000 102.000000 1 2.0 2.0 30.000000 121.000000 2 3.0 3.0 35.142857 343.000000 3 4.0 1.0 23.000000 173.142857 4 5.0 2.0 27.000000 121.000000 5 6.0 3.0 44.000000 173.142857 6 7.0 1.0 67.000000 155.000000 7 8.0 2.0 23.000000 149.000000 8 9.0 3.0 35.142857 221.000000
Al no indicar ninguna propiedad, SimpleImputer utiliza la media para imputar los valores. Por lo que el valor empleado en la columna age es 35.14 y en la columna amount es 173.14.
En el caso de que queramos que el valor sea entero, como en el resto de los registros, una alternativa es usar la moda. Lo que se muestra en el siguiente ejemplo asignando a la propiedad strategy el valor most_frequent.
simple = SimpleImputer(strategy='most_frequent') mode = simple.fit_transform(data)
id area age amount 0 1.0 1.0 32.0 102.0 1 2.0 2.0 30.0 121.0 2 3.0 3.0 23.0 343.0 3 4.0 1.0 23.0 121.0 4 5.0 2.0 27.0 121.0 5 6.0 3.0 44.0 121.0 6 7.0 1.0 67.0 155.0 7 8.0 2.0 23.0 149.0 8 9.0 3.0 23.0 221.0
Ahora el valor usado en la columna age es 23, mientras que para amount es 121.
El uso de un valor constante a la hora de realizar la imputación de valores nulos es una buena opción en muchas ocasiones. Pero en otras puede ser un problema ya que puede existir una gran variabilidad en los datos. Por eso se puede usar en su lugar un método como el de k-vecinos con el que se puede identificar los registros más similares al que presenta los valores nulos y asignarle la media de sus vecinos. Lo que posiblemente produzca un valor más parecido al real.
La clase que implementa este método es KNNImputer. A continuación, podemos ver que pasaría si asignamos a cada registro con un valor nulo el valor de su vecino más cercano. Lo que se puede conseguir indicando mediante la propiedad n_neighbors de la clase que solamente tenga en cuenta un vecino. Lo que se muestra en el siguiente ejemplo.
from sklearn.impute import KNNImputer knn = KNNImputer(n_neighbors=1) neighbors = knn.fit_transform(data)
id area age amount 0 1.0 1.0 32.0 102.0 1 2.0 2.0 30.0 121.0 2 3.0 3.0 23.0 343.0 3 4.0 1.0 23.0 343.0 4 5.0 2.0 27.0 121.0 5 6.0 3.0 44.0 343.0 6 7.0 1.0 67.0 155.0 7 8.0 2.0 23.0 149.0 8 9.0 3.0 44.0 221.0
Obviamente se puede aumentar el número de vecinos para obtener una mejor estimación de los valores.
knn = KNNImputer(n_neighbors=5) neighbors = knn.fit_transform(data)
id area age amount 0 1.0 1.0 32.0 102.0 1 2.0 2.0 30.0 121.0 2 3.0 3.0 37.4 343.0 3 4.0 1.0 23.0 191.0 4 5.0 2.0 27.0 121.0 5 6.0 3.0 44.0 181.6 6 7.0 1.0 67.0 155.0 7 8.0 2.0 23.0 149.0 8 9.0 3.0 36.8 221.0
En esta ocasión se han visto dos herramientas para la transformación de datos con los que se puede realizar la imputación de valores nulos en Python. Herramientas que podemos encontrar en Scikit-learn. Estas herramientas, a pesar de su sencillez, son de gran utilidad cuando tenemos que trabajar con conjuntos de datos que contiene valores nulos y no se pueden usar así para los análisis que necesitamos realizar.
Image by Gerd Altmann from Pixabay
Tienes dos grupos de datos y quieres saber si son estadísticamente distintos. O tienes una…
A primera vista, tuplas y listas son casi idénticas. Ambas guardan colecciones ordenadas de elementos.…
"Nuestros datos no tienen buena calidad." Escuchas esto constantemente en reuniones. El problema es que…
El artículo Data Leakage en Credit Scoring explicó por qué este es el error más…
Antes de aplicar muchos tests estadísticos clásicos (el t-test, el ANOVA, la regresión lineal) aparece…
Si acabas de montar tu aplicación en Docker Compose, la primera pregunta que haces cada…
This website uses cookies.