Explorando Local Outlier Factor (LOF): Un enfoque eficaz para la detección de anomalías

Los modelos de detección de anomalías es una parte del aprendizaje automático en la que cada vez existe un mayor interés. Siendo una tarea crítica en diferentes áreas como la seguridad informática, el mantenimiento predictivo o el monitoreo de la salud. Uno de los algoritmos más populares para esta tarea es Local Outlier Factor (LOF). Este algoritmo identifica las anomalías de un conjunto de datos mediante el análisis de la densidad local y cómo se relaciona con sus vecinos más cercanos. En esta entrada se analizará los fundamentos de LOF y se explicará cómo se puede usar la clase de Scikit-learn para la detección de anomalías.

Fundamentos de Local Outlier Factor (LOF)

Local Outlier Factor (LOF) es un algoritmo de detección de anomalías que se basa en el concepto de densidad local. La idea fundamental detrás de LOF es que las anomalías se encuentran en los puntos del espacio de datos que tienen una densidad local significativamente menor que sus vecinos. LOF calcula un valor de anomalía para cada punto del espacio de datos en función de la desviación su densidad local con respecto a la de sus vecinos.

Funcionamiento de LOF

El funcionamiento de Local Outlier Factor se puede resumir en los siguientes pasos:

1. Cálculo de la densidad local: Para cada punto del conjunto de datos, se calcula la densidad local como la inversa de la distancia promedio a sus vecinos más cercanos.
2. Cálculo del factor de anomalía local: Se calcula el factor de anomalía local para cada punto del conjunto de datos como la razón entre la densidad local del punto y la densidad local promedio de sus vecinos. Los puntos de datos con un factor de anomalía local significativamente mayor que 1 se consideran anomalías.

Parámetros importantes de LOF

Antes de usar LOF, es importante conocer los parámetros clave que afecta al rendimiento del modelo:

En Analytics Lane

Curiosidad: La maldición de la dimensionalidad, o por qué añadir más datos puede empeorar tu modelo

• Número de vecinos (n_neighbors): Especifica el número de vecinos que se consideran al calcular la densidad local de cada punto de datos. Un valor más alto puede capturar mejor la estructura local del conjunto de datos, pero puede aumentar los requerimientos computacionales.
• Contaminación (contamination): Indica la proporción esperada de anomalías en el conjunto de datos. Un valor más bajo resultará en una mayor sensibilidad a las anomalías, pero también puede aumentar el riesgo de falsos positivos.

Utilización LOF en Scikit-learn

En Python la biblioteca de referencia para aprendizaje automático, Scikit-learn, cuenta con una implementación de Local Outlier Factor. Al igual que Isolation Forest y One-Class SVM se debe importar la clase y entrenar esta con el conjunto de datos, un uso básico sería el que se muestra a continuación

from sklearn.neighbors import LocalOutlierFactor

# Crear el modelo Local Outlier Factor
lof = LocalOutlierFactor(n_neighbors=20, contamination=0.1)

# Entrenar el modelo
lof.fit(data)

# Predicción de anomalías
anomaly_scores = lof.negative_outlier_factor_

En este ejemplo, tras importar la clase LocalOutlierFactor se crea una instancia de un clasificador (lof) con donde se fija el número de vecinos a 20 y la contaminación a 0,1. A continuación, como es habitual, se entrena el clasificado con el método fit(). Para detectar las anomalías del conjunto de datos de entrenamiento se debe acceder a la propiedad negative_outlier_factor_ de la instancia.

A diferencia de los algoritmos de Isolation Forest y One-Class SVM, por defecto no se puede usar el método predict() para obtener las predicciones una vez entrenado el modelo. Esto es así porque LOF es un algoritmo de detección de anomalías basado en densidad que no clasifica explícitamente los puntos de datos como normales o anómalos, sino que calcula un puntaje de anomalía para cada punto. Si se desea usar el método predict() es necesario fijar la propiedad novelty a verdadero. Aunque hay que tener en cuenta que en este caso el método predict() se debe de usar únicamente con valores nuevos, no usados en entrenamiento. No se deben utilizar en el conjunto de datos de entrenamiento, ya que esto podría llevar a resultados incoherentes.

Interpretación de los Resultados

Los resultados de Local Outlier Factor se pueden interpretar utilizando los puntajes de anomalía calculados. Cuanto más negativo sea el puntaje, más anómalo se considera el punto de datos. Los puntos de datos con puntajes más bajos son más probables de ser anomalías.

Una vez entrenado el modelo, en la clase además de las puntuaciones se encuentra el offset_ que representa el umbral para distinguir entre puntos de datos anómalos y normales. Valor que se calcula en base a la contaminación indicada.

Caso práctico con Local Outlier Factor en Scikit-learn

Ahora se puede crear un conjunto de datos sintéticos para analizar cómo funciona la implementación de LOF de Scikit-learn. Para ello se puede usar el mismo ejemplo usado en One-Class SVM. Usando la función make_moons() para crear un conjunto de datos aleatorios al que se puede agregar anomalías con random.uniform() de NumPy

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_moons
from sklearn.svm import OneClassSVM

# Generar datos sintéticos con make_moons
X, _ = make_moons(n_samples=1000, noise=0.1, random_state=42)

# Introducir algunas anomalías
anomalies = np.random.uniform(low=-1.5, high=2.5, size=(100, 2))

# Combinar datos normales y anomalías
data = np.vstack([X, anomalies])

# Visualizar los datos con las anomalías en un color diferente
plt.figure(figsize=(8, 6))
plt.scatter(data[:, 0], data[:, 1], alpha=0.7, c='blue', label='Datos')
plt.scatter(anomalies[:, 0], anomalies[:, 1], color='red', label='Anomalías')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('Datos Generados con Anomalías')
plt.legend()
plt.show()

Una vez obtenido el conjunto de datos sintéticos, se puede entrenar un modelo LOG y combinar los valores que se muestran en la propiedad negative_outlier_factor_ con offset_ para identificar los datos anómalos.

from sklearn.neighbors import LocalOutlierFactor

# Crear el modelo Local Outlier Factor
lof = LocalOutlierFactor(n_neighbors=20, contamination=0.1)

# Entrenar el modelo
lof.fit(data)

# Puntuaje de anomalías
anomaly_scores = lof.negative_outlier_factor_

# Predicción de anomalías
anomalies = lof.negative_outlier_factor_ < lof.offset_

# Visualizar los resultados con círculos sobre las anomalías
plt.figure(figsize=(8, 6))
plt.scatter(data[:, 0], data[:, 1], alpha=0.7, c='blue', label='Datos')
plt.scatter(data[anomalies][:, 0], data[anomalies][:, 1],
            facecolors='none', edgecolors='r', s=100, label='Anomalías Detectadas')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('Detención de Anomalías con Local Outlier Factor')
plt.legend()
plt.show()

En la gráfica resultante se puede ver que el algoritmo detecta bastante bien los datos anómalos. Solamente existe una zona en la parte superior derecha donde la densidad de anomalías es alta y por lo tanto el modelo los considera como datos normales. Por contra, sí que se identifican algunos datos entre las dos lunas como anómalos, cosa que no sucedía con One-Class SVM.

Conclusiones

Local Outlier Factor es un excelente algoritmo basado en la densidad local para la detección de anomalías. Su capacidad para identificar puntos de datos anómalos en base a la densidad local lo convierte en una excelente opción en múltiples aplicaciones. Siendo un complemento y alternativa a Isolation Forest y One-Class SVM.

Imagen de Manfred Richter en Pixabay