Dentro del aprendizaje automático, es habitual tener que trabajar con conjuntos de datos multidimensionales donde las variables están interrelacionadas. En estos casos, para cuantificar la similitud entre puntos, es aconsejable tener en cuenta la estructura de los propios datos. Algo que no sucede en las distancias usadas habitualmente como la Euclídea. Una métrica que si tiene en cuenta la estructura de los datos es la distancia de Mahalanobis. Para lo que utiliza la covarianza entre las variables. En esta entrada, se explicará en qué consiste la distancia de Mahalanobis y se verá cómo implementarla en Python.
La distancia de Mahalanobis es una medida estadística utilizada para cuantificar la separación entre dos puntos. Teniendo en cuenta no sólo la separación entre estos, sino también la covarianza entre las variables del conjunto de datos. A diferencia de la distancia Euclídea, en la que se asume independencia entre las variables, la distancia de Mahalanobis ajusta la separación entre las variables con su correlación. Esto la hace especialmente útil cuando el conjunto de datos donde las diferentes variables están correlacionadas entre sí.
Al tener en cuenta la correlación que existe entre las variables, esta es especialmente adecuada para la detección de anomalías. Pudiendo capturar relaciones complejas entre las diferentes características. Gracias a lo que puede identificar patrones anómalos que suelen pasar desapercibidos al usar otras medidas de distancia. Esto hace que sea una herramienta esencial en aplicaciones donde las anomalías pueden estar influenciadas por múltiples variables interrelacionadas, como en la detección de fraudes financieros o en la monitorización de la salud.
La distancia de Mahalanobis entre los puntos \mathbf{x} e \mathbf{y} de un conjunot de datos se puede obtener usando la siguiente expresión: d(\mathbf{x}) = \sqrt{(\mathbf{x} - \mathbf{y})^T \Sigma^{-1} (\mathbf{x} - \mathbf{y})}, donde \Sigma es la matriz de covarianza del conjunto de datos.
Tal como se puede apreciar en la expresión, la fórmula utiliza la inversa de la matriz de covarianza \Sigma^{-1} para “normalizar” las diferencias entre las variables, compensando de esta forma las diferencias de escala entre las diferentes dimensiones y teniendo en cuenta las correlaciones entre ellas.
Es fácil ver que la fórmula anterior cumple las propiedades básicas de una distancia:
Por lo que la distancia de Mahalanobis es medida de distancia válida.
Aunque existe una implementación en SciPy de la distancia de Mahalanobis, es relativamente fácil implementar una versión gracias a las funciones de NumPy. Una posible implementación es la que se muestra en el siguiente código:
import numpy as np def mahalanobis_distance(point1, point2, data): """ Calcula la distancia de Mahalanobis entre dos puntos en un conjunto de datos. Parámetros: ----------- point1 : array_like El primer punto para el cual se desea calcular la distancia de Mahalanobis. point2 : array_like El segundo punto para el cual se desea calcular la distancia de Mahalanobis. data : array_like El conjunto de datos con el que se calculará la distancia. Devuelve: -------- distance : float La distancia de Mahalanobis entre los dos puntos en el conjunto de datos. """ # Calcula la matriz de covarianza del conjunto de datos cov_matrix = np.cov(data, rowvar=False) # Calcula la inversa de la matriz de covarianza inv_cov_matrix = np.linalg.inv(cov_matrix) # Calcula la diferencia entre los dos puntos diff = np.array(point1) - np.array(point2) # Calcula la distancia de Mahalanobis distance = np.sqrt(np.dot(np.dot(diff, inv_cov_matrix), diff.T))
En este código se pasa como parámetro dos puntos (point
y point2
) y el conjunto de datos. Lo primero que se hace es calcular la matriz de covarianza del conjunto de datos y obtener su inversa. Una vez hecho esto se calcula la diferencia entre los dos vectores. Finalmente, se puede usar la fórmula anterior para calcular la distancia. A continuación, se puede ver cómo funciona con un conjunto de datos de ejemplo.
data = [[1.2, 1500, 42], [1.5, 1600, 35], [1.7, 1550, 40], [1.8, 1750, 50], [2.0, 1700, 55]] mahalanobis_distance(data[0], data[1], data)
2.6457513110645903
Usando la función de SciPy mahalanobis()
se puede verificar si el resultado es correcto. Esta función necesita los dos puntos y la inversa de la matriz de correlación para obtener el mismo resultado.
from scipy.spatial import distance cov_matrix = np.cov(data, rowvar=False) inv_cov_matrix = np.linalg.inv(cov_matrix) distance.mahalanobis(data[0], data[1], inv_cov_matrix)
2.6457513110645903
Verificando que la distancia se ha implementado correctamente.
La distancia de Mahalanobis es una herramienta clave cuando se trabaja con conjuntos de datos multidimensionales. Al tener en cuenta la covarianza entre las variables, proporciona una medida precisa de la similitud entre los puntos del espacio que puede ser de gran utilidad en aplicaciones de detección de anomalías. Aunque existe una implantación en SciPy, haber escrito una función ayuda a comprender mejor el funcionamiento de la métrica.
En casi cualquier análisis estadístico —ya sea en medicina, psicología, economía o ciencia de datos—…
El MSCI World Index suele presentarse como “la ventana al mundo” para quienes invierten en…
En el mundo del análisis de datos solemos escuchar una idea poderosa: cuantos más datos,…
¿Te has encontrado con este error al intentar instalar paquetes con npm? npm ERR! code…
En ciencia de datos y estadística, los promedios y porcentajes son herramientas fundamentales para resumir…
Las bases de datos son el corazón de casi cualquier sistema de información moderno. Ya…
This website uses cookies.