Al trabajar con datos puede que sea necesario realizar una muestra de un conjunto de datos. Esto puede ser porque la totalidad de los datos disponibles sea inmanejable o porque exista un desequilibrio en las clases de los datos. En estos es necesario recurrir al muestreo de los datos. Algunas de las técnicas más utilizadas de muestreo en Python se muestran a continuación.
Tabla de contenidos
Muestreo aleatorio
El método de muestreo más básico es el muestreo aleatorio, en el que simplemente se selecciona un conjunto de subconjunto de los datos de forma aleatoria. A pesar de ello es uno de los métodos más utilizados debido a su simplicidad. Además de ser válido en la mayoría de los problemas.
Los DataFrames de Pandas incluyen el método sample que nos permite implementar el muestreo aleatorio en Python. Así para obtener n muestras aleatorias de un DataFrame solamente se tiene que escribir
sample_df = df.sample(n)
Al igual que la mayoría de método que usan el generador de números aleatorios se puede fijar la semilla mediante la propiedad random_state. Algo que debemos utilizar siempre que nuestros análisis necesiten ser reproducibles, es decir, obtengamos los mismos valores al repetir el ejercicio con los mismos conjuntos de datos.
Muestreo estratificado
Supongamos que en nuestro conjunto de datos tengamos algunas características o conjunto de características cuya proporción necesitamos que se mantenga en el conjunto muestreo. Por ejemplo, la proporción de hombres y mujeres. En este caso lo que necesitamos hacer es un muestreo estratificado.
Pandas no incluye un método en sí para realizar un muestreo estratificado, pero se puede utilizar train_test_split de Scikit-learn para ontener este muestreo en Python. Este método tiene la propiedad stratify con la que se puede definir un conjunto de variables para estratificar. Así para obtener una muestra del 10% de un DataFrame solamente debemos escribir el comando
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, test_size=0.1)
En donde y es la variable sobre la que se desea estratificar
Undersampling
En muestras desbalanceadas, donde existen clases que contiene más registros que otros y es necesario balancear los registros es necesario usar un muestreo tipo “undersampling” u “oversampling” (el cual veremos en la próxima sección). Por ejemplo, un problema de predicción de fraude donde tenemos 1 caso de fraude por cada 1000 registros válidos. En el muestreo tipo “undersampling” se selecciona un subconjunto de la clase mayoritaria (en nuestro ejemplo los registros válidos) y todos los registros de la clase mayoritaria. Algo que se puede hacer fácilmente de forma aleatoria. Simplemente se tiene que separar las clases en dos DataFrames en base al valor y emplear el método sample como ya hemos visto y combinar en un nuevo DataFrame:
df_true = df[df['y'] == True] df_fales = df[df['y'] == False] df_sampe = pd.concat([df_true, df_false.sample(df_true.shape[0])])
Oversampling
Otro método que se pueden utilizar cuando las clases están desbalanceadas es “Oversampling”. En este caso en lugar de tomar una muestra de los datos mayoritarios se duplican los datos minoritarios hasta que se llegar a equilibrar.
Si los datos se van a utilizar en un problema de aprendizaje automático supervisado hay que prestar especial atención al riego se sobreajuste. Ya que el modelo se entrenaría con datos duplicados.
Paquete imbalanced-learn para muestreo Undersampling y Oversampling
Existen métodos más avanzados que el aleatorio para realizar tanto “undersampling” como “oversampling”. Métodos que se pueden contar en Python en el paquete imbalanced-learn. Un paquete que ya habiamos comentado anteriromente. El paquete contiene múltiples algoritmos, entre los que se puede destacar los siguientes.
Undersampling con Tomek Links
Uno de los métodos que proporciona el paquete imbalanced-learn se llama Tomek Links. En este, se utilizan pares de muestras de clases mayoritaria cercanas a los registros de la clase minoritaria. Así, se obtiene un conjunto de datos con el que se puede definir las fronteras de clasificación.
from imblearn.under_sampling import TomekLinks tl = TomekLinks(return_indices=True, ratio='majority') X_tl, y_tl, id_tl = tl.fit_sample(X, y)
Oversampling con SMOTE
En el método SMOTE (técnica de sobremuestreo de minorías sintéticas, del inglés Synthetic Minority Oversampling Technique) se crean sintéticamente elementos de la clase minoritaria cercanos a los ya existente. Es decir, se crean nuevos registros próximos a los ya existentes.
from imblearn.over_sampling import SMOTE smote = SMOTE(ratio='minority') X_sm, y_sm = smote.fit_sample(X, y)
Este método puede evitar los problemas de sobreajuste en aprendizaje supervisado ya que los nuevos datos no son iguales a los existentes. Aunque esto no deja se ser un problema ya que no son datos reales.
Conclusiones
En la entrada de hoy hemos visto diferentes técnicas para realizar muestreo en Python. Técnicas que son muy habituales ya que trabajar con la totalidad de los datos puede no ser lo adecuado. Tanto sea porque requiere demasiado recurso y tiempo para llevar a cabo el análisis o porque un desequilibrio en las clases hace que sea necesario equilibrar estas.
Imagen de Miguel Á. Padriñán en Pixabay
Deja una respuesta