La multicolinealidad es un problema que puede afectar negativamente al rendimiento de los modelos de regresión. Afectando tanto a modelos de regresión lineal como logísticos. El problema aparece cuando existe relación entre las variables independientes empleadas en los modelos. Siendo esta correlación un problema porque las variables independientes deberían de ser independientes entre sí. Cuando el grado de la relación entre las variables es lo suficientemente grande puede provocar problemas tanto en el proceso de ajuste como en la interpretación de los datos.
En esta entrada se va a explicar que es la multicolinealidad. En el caso de que esté interesado en resolver el problema puede consultar el Factor de Inflación de Varianza (VIF, Variance Inflation Factors).
¿Por qué es un problema?
Al entrenar un modelo de regresión lineal que se busca es la relación entre cada una de las variables independientes con la variable dependiente. Cada uno de los coeficientes de regresión indica el cambio que se espera observar en la variable dependiente al modificar una unidad en la variable independiente si se mantienen constantes todas las demás variables independientes. Pero, si dos o más variables independiente están relacionadas esto no se observa en los datos.
A medida que aumenta la relación entre las variables, el grado de multicolinealidad es mayor, se hace más complicado observar cambios en una variable sin que se modifique la otra. Lo que hace difícil para el modelo estimar la relación que existe entre cada una de las variables independiente y la dependiente ya que las algunas de las independientes cambian a la vez.
Tipos de multicolinealidad
Básicamente existen dos tipos de multicolinealidad
- Multicolinealidad estructural: es la que se produce cuando se crea una nueva variable en base a otras. Por ejemplo, si se realiza una normalización de los datos. En este caso es fácil identificar las variables en las que existe multicolinealidad y para eliminar las que no son necesarias.
- Multicolinealidad de datos: esta es la que se observa de forma natural en los datos. Por ejemplo, variables que están claramente relacionadas como la edad y la experiencia. Siendo esta la que es más difícil de identificar y eliminar.
¿Qué problemas genera?
El primer problema que aparece cuando existe multicolinealidad en el conjunto de datos de entrenamiento es la dificultad de entrenar el modelo. Ya que los coeficientes se vuelven muy sensibles a pequeños cambios. Esto es así porque si se modifica un parámetro, los de las variables relacionadas también ser verán afectados.
Otro problema es una reducción de la precisión de los coeficientes, lo que debilita el modelo. Provocando que los p-valores no indique que sean estadísticamente significativos.
Esto se puede ver a la hora de ajustar un modelo. En estos casos lo más probable es que los valores de los coeficientes cambian de forma significativa, llegando incluso a cambiar de signo, a incluir o algunas de las variables independientes en el modelo. Siendo algo desconcertante que modelos ligeramente diferentes nos ofrecen conclusiones completamente diferente. Por ejemplo, que en un modelo la variable dependiente aumenta con la edad mientras que se reduzca, ofreciendo una explicación completamente diferente.
Además de esto, se hace complicado confiar en los p-valores para seleccionar aquellas variables que se deben incluir en el modelo. Haciendo complicado tanto la definición como la posterior justificación de este.
¿Cuándo es necesario eliminar la multicolinealidad en los conjuntos de datos?
Es importante notar que la multicolinealidad afecta los valores de los coeficientes, los p-valores, pero no suele afectar a la precisión de las predicciones ni a las estadísticas de bondad del ajuste. Por lo que si el objetivo es solamente obtener un modelo de “caja negra” puede que no sea necesario eliminar el problema. Aunque renunciar a la capacidad de explicación que ofrece los modelos de regresión reduce la utilidad y reduce la accionabilidad de estos.
Por otro lado, este es un problema que solamente afecta a un parte de las variables del conjunto de datos. Así, si no existe multicolinealidad en los datos que son de interés para la creación del modelo, puede que no sea necesario eliminar las variables. Por ejemplo, si en un conjunto de datos existen variables de control relacionadas entre sí que no se usan estas no son un problema.
Conclusiones
En esta entrada hemos visto porque la existencia de multicolinealidad es un problema a la hora de definir un modelo de regresión. Un problema que se puede resolver por ejemplo con el Factor de Inflación de Varianza (VIF, Variance Inflation Factors).
Imagen de Wonita Janzen en Pixabay
Deja una respuesta