Detectando anomalías con Angle-Based Outlier Detection (ABOD)

La detección de anomalías (también conocidos por su nombre en inglés outliers) son métodos de aprendizaje automático claves en múltiples sectores. Facilitando la identificación de eventos como fraudes, errores en los datos o eventos raros. Entre los métodos existentes para ello, Angle-Based Outlier Detection (ABOD) destaca con un enfoque único al usar los ángulos entre los puntos en el espacio de características. Un enfoque que resulta bastante robusto. En esta entrada, se analizará sus fundamentos, las ventajas y desventajas que ofrece, y cómo usar este método en Python utilizando la biblioteca pyod.

¿Qué es Angle-Based Outlier Detection (ABOD)?

ABOD es un método de detección de anomalías que emplea los ángulos entre los puntos en el espacio de características para identificar los puntos anómalos. Una diferencia clave frente a otros métodos que se basan en el uso de distancias (One-Class SVM) o densidades (LOF o HBOS).

Los fundamentos clave que diferencia a ABOD de otros métodos son los siguientes:

Ángulos en lugar de distancias: ABOD analiza los ángulos formados por tripletas de puntos en el espacio de características. La idea detrás de ellos es que las anomalías tienden a formar ángulos más extremos (más pequeños o grandes) respecto a otros puntos en comparación con los registros normales.
Robustez frente a cambios en la dimensionalidad: Debido a que se basa en ángulos y no en distancias, ABOD es menos susceptible a los problemas causados por la ”maldición de la dimensionalidad”. Permitiendo que funcione mejor en conjuntos de datos con muchas dimensiones.

Base matemática de ABOD

Para entender ABOD, se puede considerar un conjunto de datos $X = {x_1, x_2, \ldots, x_n}$ en un espacio $d$ -dimensional.

Diferencia de vectores: Para un punto $x_i$ , consideramos los vectores de diferencia con otros puntos $x_j$ y $x_k$ : $\overrightarrow{v_{ij}} = x_j - x_i \quad \text{y} \quad \overrightarrow{v_{ik}} = x_k - x_i$
Ángulo entre vectores: El coseno del ángulo $\theta$ entre estos vectores se calcula como: $\cos(\theta) = \frac{\overrightarrow{v_{ij}} \cdot \overrightarrow{v_{ik}}}{|\overrightarrow{v_{ij}}| |\overrightarrow{v_{ik}}|},$ donde $\cdot$ representa el producto punto y $| \cdot |$ es la norma del vector.
Varianza angular: Para cada punto $x_i$ , se calcula la varianza de los ángulos formados con todos los pares posibles de puntos en el conjunto de datos: $\text{Var}(\theta_i) = \frac{1}{n(n-1)/2} \sum_{j \neq k} \left(\theta_{ijk} - \bar{\theta_i}\right)^2,$ donde $\theta_{ijk}$ es el ángulo entre los vectores $\overrightarrow{v_{ij}}$ y $\overrightarrow{v_{ik}}$ , y $\bar{\theta_i}$ es el ángulo medio para el punto $x_i$ .
Puntuación de anomalía: Los puntos con alta varianza angular son considerados anomalías. La puntuación de anomalía (outlier score) se define como el inverso de la varianza angular, es decir, a mayor varianza, mayor es la probabilidad de que el punto sea una anomalía.

Ventajas y desventajas de Angle-Based Outlier Detection

Entre las ventajas que ofrece el enfoque de ABOD se encuentran las siguientes:

Rendimiento en datos de alta dimensionalidad: Generalmente funciona mejor en conjuntos de datos de alta dimensionalidad en comparación con los métodos basados en la distancia.
Independiente de la distribución de datos: Al no realizar suposiciones sobre la distribución de los datos puede funcionar correctamente con cualquier conjunto de datos.

A pesar de esto, ABOD también tiene algunas desventajas respecto a otros métodos para la detección de anomalías:

Computacionalmente intensivo: El método es costoso en términos de tiempo de cómputo y memoria.
Resultados menos intuitivos: La interpretación puede ser menos intuitiva respecto a los métodos basados en distancia.

Hiperparámetros clave de ABOD

Al implementar ABOD, se debe prestar especial atención a la determinación de los siguientes hiperparámetros:

contamination: Proporción de anomalías en el conjunto de datos. Este parámetro es crucial para ajustar el umbral de decisión.
n_neighbors: Número de vecinos a considerar en el caso de versiones aproximadas como FastABOD. Un parámetro que afecta la precisión y el rendimiento del modelo.
method: Enfoque empleado para calcular el cálculo de la puntuación de anomalía (u outlier score). Existen dos opciones 'default' y ’fast’.

Uso de Angle-Based Outlier Detection en Python

Para poder usar ABOD en Python, se puede utilizar la biblioteca pyod, que ofrece una amplia gama de algoritmos para la detección de anomalías. Biblioteca que es necesario instalar en la mayoría de las distribuciones. Para lo que se puede usar el siguiente comando:

pip install pyod

Alternativamente también se puede instalar a través de conda con el siguiente comando:

conda install -c conda-forge pyod

Una vez instalado PyOD ya se puede usar ABOD, y otros algoritmos para detectar anomalías

Creación de un conjunto de datos de ejemplo

Antes de poder continuar es necesario contar con un conjunto de datos de ejemplo, para lo que se puede usar el método make_moons de Scikit-learn y agregarle ruido. Un método que ya se usó anteriormente en las entradas de explicar One-Class SVM, Elliptic Envelope o Local Outlier Factor. Para obtener el conjunto de datos se puede ejecutar el siguiente código:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_moons

# Generar el conjunto de datos de moons con ruido
X, _ = make_moons(n_samples=1000, noise=0.1, random_state=42)

# Agregar algunas anomalías artificiales
outliers = np.random.uniform(low=-2, high=3, size=(50, 2))
X = np.vstack([X, outliers])

# Visualizar el conjunto de datos
plt.figure(figsize=(8, 6))
plt.scatter(X[:, 0], X[:, 1], s=10)
plt.title("Conjunto de Datos de Moons con Anomalías")
plt.xlabel("Feature 1")
plt.ylabel("Feature 2")
plt.show()

Conjunto de datos para la detección de anomalías

Entrenar un modelo de ABOD para la detección de anomalías

Ahora que ya se dispone de un conjunto de datos se pueden buscar las anomalías en este. Para ello solamente se debe importar la clase ABOD de pyod, instancia está con los hiperparametros y entrenar el clasificador con los datos. Las puntuaciones de anomalías del conjunto de datos de entrenamiento se pueden obtener a través de la propiedad decision_scores_. Por otro lado, la etiqueta de cada uno de los puntos se puede extraer de la propiedad labels_. En el siguiente ejemplo, se muestran cómo se pueden detectar las anomalías con ABOD.

from pyod.models.abod import ABOD

# Inicializar y ajustar el modelo ABOD
abod_model = ABOD(method='fast', contamination=0.1, n_neighbors=10)
abod_model.fit(X)

# Obtener las puntuaciones de anomalía
anomaly_scores = abod_model.decision_scores_

# Etiquetar los puntos de datos como anomalías o no anomalías
labels = abod_model.labels_

# Visualizar el conjunto de datos con las anomalías detectadas
plt.figure(figsize=(8, 6))
plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='coolwarm', s=10)
plt.title("Conjunto de Datos de Moons con Anomalías Detectadas (ABOD)")
plt.xlabel("Feature 1")
plt.ylabel("Feature 2")
plt.show()

Anomalías identificadas con Angle-Based Outlier Detection (ABOD) en el conjunto de datos anterior.

Como se puede ver en la gráfica resultante, donde las anomalías se marcan en rojo, el algoritmo detecta bastante bien los datos que son anomalías.

Conclusiones

Angle-Based Outlier Detection (ABOD) es un método único para la detección de anomalías debido a su enfoque. A diferencia de otros métodos se basa en los ángulos, lo que hace que sea adecuado para conjuntos de datos de alta dimensionalidad, aunque puede ser computacionalmente costoso. En Python, se puede encontrar una implementación del método en la biblioteca pyod, haciendo su uso sea bastante sencillo.

Imagen de Светлана en Pixabay