• Saltar al contenido principal
  • Skip to secondary menu
  • Saltar a la barra lateral principal
  • Saltar al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Machine Learning
    • Noticias
    • Opinión
    • Productividad
    • Programación
      • JavaScript
      • Julia
      • Matlab
      • Python
      • R
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Noticias
  • Boletín
  • Contacto
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad
    • Tiendas afiliadas
      • AliExpress
      • Amazon
      • Banggood
      • GeekBuying
      • Lenovo

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Machine Learning
  • Python
  • Pandas
  • NumPy
  • Matlab
  • Julia
  • JavaScript
  • Excel

Eliminar características colineales con la matriz de correlación

marzo 3, 2023 Por Daniel Rodríguez Deja un comentario
Tiempo de lectura: 3 minutos

En aprendizaje automático el uso de características colineales para el entrenamiento es un problema que puede afectar a la calidad de los modelos, especialmente en los lineales. Por lo que es necesario identificarlas y eliminarlas. Una de las razones para hacer esto es usar la matriz de correlación dado que la multicolinealidad se produce cuando dos o más características están altamente correlacionadas entre sí. Veamos cómo se pueden eliminar las características colineales con la matriz de correlación.

El problema de la colinealidad en los modelos de aprendizaje automático

La colinealidad (o multicolinealidad) aparece cuando dos o más de las características empleadas en un modelo de aprendizaje automático están altamente correlacionadas entre sí. Aportando de esta manera información redundante sobre la variable objetivo.

Al entrenar un modelo con características colineales los coeficientes pueden cambiar drásticamente al introducir o eliminar una característica. Algo que no es deseable. Cuando dos características aportan la misma información, el efecto sobre la variable objetivo se reparten en ambos coeficientes y los valores pueden llegar a ser contradictorios (mientras uno es positivo el otro puede ser negativo). Lo que se traduce en una serie de problemas:

  1. Mayor inestabilidad del modelo: pequeños cambios en los datos pueden provocar grandes cambios en los resultados del modelo.
  2. Menor interpretabilidad de los modelos: al ser los coeficientes inestables su interpretación es menos clara y se hace explicar por qué se produce un resultado.
  3. Predicciones menos precisas: al ser la mayor la varianza de los parámetros las predicciones se hacen menos precisas.

Eliminar características colineales con la matriz de correlación

La matriz de correlación permite identificar fácilmente características altamente correlacionadas, las cuales pueden ser colineales. Siendo una herramienta perfecta para eliminar la colinealidad en los conjuntos de datos. Para ello solamente se tiene que calcular la matriz de correlación, definir un valor de correlación umbral y eliminar todas aquellas características que superen este valor. Manteniendo de este modo la información relevante y reduciendo la colinealidad.

Al encontrar características correlacionadas es importante no eliminar las dos. Para ello, dado que la matriz es simétrica, se puede emplear los valores de uno de los triángulos para seleccionar las características a eliminar. Así, si A y B están correlacionadas solo se eliminará una de ellas.

Publicidad


Implementación en Python

Antes de ver cómo se pueden eliminar las características colineales con la matriz de correlación en Python es necesario crear un conjunto de datos aleatorio. Lo que se puede hacer con el método make_regression() de Scikit-learn. Una vez generados los datos aleatorios la colinealidad se puede introducir mediante sumas o restas. Lo que se puede ver en el siguiente código.

from sklearn.datasets import make_regression

# Generar datos aleatorios con 5 características
X, y = make_regression(n_samples=100, n_features=5, noise=10, random_state=0)

# Añadir correlación adicional entre diferentes características
X[:,1] += X[:,2]*0.85
X[:,3] -= X[:,4]*0.85

Ahora, si se obtiene la matriz de correlación de este conjunto de datos es pude ver que la segunda característica está correlacionada con la tercera y la cuarta con la quinta.

import numpy as np

corr_matrix = np.corrcoef(X.T)
corr_matrix
array([[ 1.        ,  0.0170333 , -0.05223458, -0.0080103 , -0.09867828],
       [ 0.0170333 ,  1.        ,  0.6459848 ,  0.17433241, -0.05651469],
       [-0.05223458,  0.6459848 ,  1.        ,  0.17950178, -0.10507712],
       [-0.0080103 ,  0.17433241,  0.17950178,  1.        , -0.63960362],
       [-0.09867828, -0.05651469, -0.10507712, -0.63960362,  1.        ]])

Para seleccionar las características a eliminar solamente se tiene que obtener el triángulo superior de la matriz y obtener el máximo en cada una de las columnas. Eliminado aquellas que superen un valor umbral. Al usar solamente el triángulo superior de la matriz se evita que las dos características colineales se eliminen. Lo que en Python se puede conseguir con el siguiente código.

import numpy as np

threshold = 0.6

corr_matrix = np.corrcoef(X.T)
upper_tri = np.triu(np.abs(corr_matrix), k=1)

valid_cols = upper_tri.max(axis=0) < threshold

valid_cols
array([ True,  True, False,  True, False])

Código que al ejecutarse indica que se deben eliminar la tercera y quinta características.

Conclusiones

En esta entrada se ha visto cómo se puede identificar y eliminar las características colineales con la matriz de correlación. Un método alternativo al basado en VIF que se vio en una entrega anterior. La matriz de correlación es computacionalmente más eficiente que el VIF, debido a que solamente se tiene que calcular la matriz de correlación y no varios modelos de regresión. Por lo que puede ser una alternativa más rápida cuando se tiene grandes conjuntos de datos.

Publicidad


Image by Holger Schué from Pixabay

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 0 / 5. Votos emitidos: 0

Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Publicaciones relacionadas

  • ¿Qué es el sesgo en aprendizaje automático?
    ¿Qué es el sesgo en aprendizaje automático?
  • Multicolinealidad
    Multicolinealidad
  • Puntos
    GridSearchCV
  • Visualización de matrices en Seaborn: Mapas de calor y dendrogramas
    Visualización de matrices en Seaborn: Mapas de calor y…
  • Aprendizaje supervisado y no supervisado
    Aprendizaje supervisado y aprendizaje no supervisado
  • Seleccionar las mejores características para un modelo con Scikit-learn
    Seleccionar las mejores características para un modelo con…

Publicado en: Ciencia de datos, Python Etiquetado como: Scikit-Learn

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Publicidad




Barra lateral principal

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

Analytics Lane en redes sociales

  • Amazon
  • Facebook
  • GitHub
  • Instagram
  • Pinterest
  • RSS
  • Twitter
  • Tumblr
  • YouTube

Publicidad

Entradas recientes

El método de Hare-Niemeyer y su implementación en Python

septiembre 29, 2023 Por Daniel Rodríguez

Redimensionar una partición de disco LVM con espacio no asignado en Linux

septiembre 27, 2023 Por Daniel Rodríguez

¿Cómo saber la versión de Pandas o cualquier otra librería en Python?

septiembre 25, 2023 Por Daniel Rodríguez

Publicidad

Es tendencia

  • ¿Cómo eliminar columnas y filas en un dataframe pandas? publicado el marzo 25, 2019 | en Python
  • La aplicación Auto Py to Exe Creación de un EXE desde un archivo Python en Windows publicado el mayo 16, 2022 | en Python
  • Seleccionar filas y columnas en Pandas con iloc y loc publicado el junio 21, 2019 | en Python
  • ¿Cómo cambiar el nombre de las columnas en Pandas? publicado el mayo 6, 2019 | en Python
  • Gráficos de barras en Matplotlib publicado el julio 5, 2022 | en Python

Publicidad

Lo mejor valorado

4.9 (22)

Seleccionar filas y columnas en Pandas con iloc y loc

4.7 (12)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

4.6 (15)

Archivos JSON con Python: lectura y escritura

4.5 (10)

Diferencias entre var y let en JavaScript

4.3 (12)

Ordenación de diccionarios en Python mediante clave o valor

Publicidad

Comentarios recientes

  • Daniel Rodríguez en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • Miguel en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • alberto en Resolver problema de credenciales en Bitbucket
  • Pablo en Aplicar el método D’Hondt en Excel
  • Agapito en Creación de un EXE desde un archivo Python en Windows

Publicidad

Footer

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Libros
  • Lo más popular
  • Noticias
  • Tienda
  • Tiendas afiliadas

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Machine Learning
  • Opinión
  • Productividad
  • Programación
  • Reseñas

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Copyright © 2018-2023 Analytics Lane ·Términos y condiciones ·Política de Cookies ·Política de Privacidad ·Herramientas de privacidad ·Contacto