Curiosidad: La maldición de la dimensionalidad, o por qué añadir más datos puede empeorar tu modelo

En el mundo del análisis de datos solemos escuchar una idea poderosa: cuantos más datos, mejor. Más variables, más columnas, más información… ¿qué podría salir mal?

Pues bien, existe un fenómeno conocido como la maldición de la dimensionalidad que demuestra que añadir más dimensiones (variables) a un conjunto de datos puede complicarlo todo: desde la visualización hasta el rendimiento de los modelos de machine learning.

¿Qué significa “dimensión”?

En ciencia de datos, una dimensión es simplemente una variable. Si tienes un conjunto de datos (dataset) con altura y peso, estás en un espacio bidimensional. Añadir edad, sexo, ingresos, temperatura… hace que el número de dimensiones crezca rápidamente.

Pero a partir de cierto punto, cada dimensión adicional añade complejidad geométrica, dispersa los datos y reduce la densidad informativa. Aunque parezca contraintuitivo, tener más columnas no siempre significa tener más conocimiento útil.

¿Qué problemas trae aumentar la dimensionalidad de los datos?

Aumentar el número de variables en un análisis no siempre mejora los resultados. De hecho, a partir de cierto punto, añadir dimensiones puede generar más problemas que beneficios:

Los puntos se alejan entre sí

En espacios de alta dimensión, los datos tienden a dispersarse de forma extrema: todos los puntos terminan estando aproximadamente a la misma distancia unos de otros. Esto hace que pierdan sentido conceptos fundamentales como cercanía o densidad. Algoritmos que dependen de medidas de distancia —como k-NN, clustering o SVM— dejan de funcionar bien, porque no hay una diferencia clara entre “cerca” y “lejos”. En lugar de encontrar vecinos relevantes, el modelo encuentra ruido distribuido de forma homogénea.

Se necesitan muchos más datos

A medida que aumentamos el número de dimensiones, el volumen del espacio crece exponencialmente. Esto implica que necesitas muchísimas más observaciones para “rellenar” el espacio de forma adecuada. Por ejemplo, si 10 puntos bastan para cubrir un intervalo en una dimensión, en 10 dimensiones necesitarías 10¹⁰ puntos. Si no tienes suficientes datos, el modelo se verá forzado a aprender a partir de ejemplos escasos, lo que lleva fácilmente al sobreajuste, donde se memorizan detalles específicos del conjunto de entrenamiento en lugar de aprender patrones generales.

Más ruido y redundancia

En la práctica, muchas variables no aportan información útil: algunas son simplemente ruido, y otras están altamente correlacionadas entre sí. Cuantas más dimensiones añades, mayor es la probabilidad de incluir variables irrelevantes o redundantes, lo que puede confundir al modelo y empeorar su rendimiento. Además, el aumento de ruido dificulta tareas como la selección de características, la interpretación de resultados y la visualización de los datos.

¿De dónde viene el término?

El concepto fue formalizado por el matemático Richard Bellman en los años 60, en el contexto de la programación dinámica. Bellman se dio cuenta de que los cálculos necesarios para optimizar funciones aumentaban de forma exponencial con el número de variables. Desde entonces, este fenómeno ha sido ampliamente reconocido en estadística, inteligencia artificial y machine learning.

¿Qué se puede hacer para evitar la maldición de la dimensionalidad?

Para combatir esta maldición, los científicos de datos suelen aplicar técnicas como:

• Selección de variables: elegir solo las más relevantes.
• Reducción de dimensionalidad: aplicar técnicas como PCA (Análisis de Componentes Principales) o t-SNE.
• Regularización: penalizar modelos demasiado complejos para evitar el sobreajuste.
• Ingeniería de características: transformar variables para condensar mejor la información.

Una paradoja útil

La maldición de la dimensionalidad nos recuerda que más no siempre es mejor. A veces, añadir más columnas puede ser como añadir más ruido en una conversación: en lugar de ayudarte a entender, te distrae.

En ciencia de datos, importa más la calidad que la cantidad: menos puede ser más.

Así que la próxima vez que tengas la tentación de añadir esa nueva variable porque “seguro que aporta algo”, recuerda: quizá estés invocando sin querer esta vieja maldición.

Nota: La imagen de este artículo fue generada utilizando un modelo de inteligencia artificial.