La detección de anomalías es uno de los desafíos más intrigantes del aprendizaje automático. Ya sea en el campo de la seguridad informática, la detección de fraudes financieros o en tareas de mantenimiento predictivo, identificar valores anómalos dentro de grandes conjuntos de datos es clave para evitar problemas en las operaciones. En esta entrada se explicará el algoritmo de Isolation Forest, una de las herramientas más populares para la detección de anomalías.
Tabla de contenidos
Fundamentos de Isolation Forest
Isolation Forest, un algoritmo introducido por Liu, Ting y Zhou en la conferencia IEEE ICDM’08, se basa en la idea intuitiva de que las anomalías son datos muy diferentes del resto. Llevándolo a un caso práctico, normalmente, las operaciones fraudulentas suelen realizarse por cantidades y en frecuencias muy diferentes de las normales. En base a esta idea, Isolation Forest crea múltiples árboles de decisión de forma aleatoria para aislar las anomalías. Asumiendo que los datos anómalos son poco habituales, debería ser necesario realizar más divisiones para separar estos del resto. Lo que facilita su aislamiento de forma eficiente.
El algoritmo de Isolation Forest
El funcionamiento básico del algoritmo de Isolation Forest se puede describir en los siguientes tres pasos:
- Construcción aleatoria de árboles de decisión: Isolation Forest construye árboles de decisión de forma completamente aleatoria. Selecciona de forma aleatoria en cada rama del árbol la característica y el valor que se usará para dividir el conjunto de datos.
- División recursiva del espacio de características: El árbol de decisión se divide recursivamente en subespacios más pequeños, utilizando criterios como la ganancia de información o la reducción de la impureza en cada paso. Este proceso continúa hasta que se alcanza el criterio de parada predefinido, como alcanzar un número máximo de divisiones o que el tamaño del subconjunto de datos sea demasiado pequeño.
- Calcular el nivel de aislamiento de cada punto: Una vez que se ha construido el conjunto de árboles de decisión, se evalúa cuántas divisiones se necesitan para aislar cada uno de los puntos individualmente. Los puntos que requieren menos divisiones se consideran que son los que tienen más probabilidades de ser anomalías.
Aplicaciones de Isolation Forest
Isolation Forest tiene una amplia gama de aplicaciones debido a su capacidad para detectar anomalías de manera eficiente en grandes conjuntos de datos. Algunas de las aplicaciones más habituales son:
- Detección de fraudes financieros: Identificar transacciones fraudulentas en datos financieros.
- Seguridad informática: Detectar actividades maliciosas en redes informáticas.
- Mantenimiento predictivo: Identificar anomalías en el funcionamiento de maquinaria para prevenir fallos.
- Monitoreo de datos de salud: Detectar anomalías en los signos vitales de las personas para realizar una atención médica preventiva.
Isolation Forest en Scikit-learn
En la biblioteca Scikit-learn se puede encontrar una implementación de Isolation Forest, como es habitual, eficiente y fácil de usar. La clase que implementa el algoritmo se llama IsolationForest y se puede encontrar dentro de sklearn.ensemble.
Isolation Forest es un algoritmo de aprendizaje no supervisado, por lo que se debe entrenar únicamente con un conjunto de datos. Una vez entrenado el modelo se puede llamar al método predict() para preguntar si los registros son anómalos o no. El valor que se obtiene será 1 para los valores que se consideran normales y -1 para los que etiqueta como anómalos.
Parámetros del modelo
Al utilizar IsolationForest, es importante conocer los parámetros clave que afectan al rendimiento del algoritmo:
- Contaminación (
contamination): Este parámetro indica la proporción esperada de anomalías en el conjunto de datos. Puede ser establecido manualmente por el usuario o dejarse como'auto'para que el algoritmo lo determine automáticamente. - Número de árboles (
n_estimators): Especifica el número de árboles de decisión que se construirán en el bosque. Un mayor número de árboles puede mejorar la precisión, pero aumentará el tiempo de entrenamiento.
Utilización de Isolation Forest en Scikit-learn
A continuación, se muestra cómo usar la implementación de Isolation Forest de Scikit-learn. Para lo que primero se puede crear un conjunto de datos aleatorios que simulan el monto y el tiempo de transacciones normales y otro anómalas. Uniendo ambos en un único conjunto de datos. Este conjunto de datos se puede representar gráficamente para ver como las operaciones fraudulentas son diferentes a las normales.
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# Generar datos sintéticos de transacciones financieras
np.random.seed(42)
# Generar transacciones normales
normal_transactions = np.random.normal(loc=100, scale=20, size=(1000, 2))
# Generar transacciones fraudulentas (anomalías)
fraudulent_transactions = np.random.uniform(low=300, high=500, size=(50, 2))
# Combinar transacciones normales y fraudulentas
transactions = np.vstack((normal_transactions, fraudulent_transactions))
# Etiquetar transacciones (0 para normal, 1 para anomalía)
labels = np.zeros(len(transactions), dtype=int)
labels[-50:] = 1
# Crear un DataFrame de pandas
data = pd.DataFrame(transactions, columns=['Monto', 'Tiempo'])
# Visualizar los datos
plt.scatter(data['Monto'], data['Tiempo'], c=labels, cmap='coolwarm', alpha=0.7)
plt.xlabel('Monto')
plt.ylabel('Tiempo')
plt.title('Transacciones Financieras')
plt.show()
El conjunto de datos se crea con la semilla 42, por lo que siempre que se ejecute el código se obtendrá exactamente el mismo conjunto. El ejercicio se puede repetir con otras semillas para generar datos diferentes. Ahora se puede importar IsolationForest y entrenar un modelo para detectar los datos anómalos en este conjunto de datos.
from sklearn.ensemble import IsolationForest
# Aplicar IsolationForest para detectar anomalías
model = IsolationForest(contamination=0.05, random_state=42)
model.fit(transactions)
# Predecir anomalías
predictions = model.predict(transactions)
anomaly_indices = np.where(predictions == -1)[0]
# Visualizar las anomalías detectadas
plt.scatter(data['Monto'], data['Tiempo'], c=labels, cmap='coolwarm', alpha=0.7)
plt.scatter(data.iloc[anomaly_indices]['Monto'], data.iloc[anomaly_indices]['Tiempo'],
facecolors='none', edgecolors='g', s=100, label='Anomalías')
plt.xlabel('Monto')
plt.ylabel('Tiempo')
plt.title('Transacciones Financieras con Anomalías Detectadas')
plt.legend()
plt.show()
Lo que se hace en este código es importar la clase y entrenar un modelo con los datos. Nótese que el modelo no ha visto la variable labels donde se guardan las diferentes clases para su representación. El modelo ha identificado correctamente todas las anomalías y ha generado tres falsos positivos. Algo normal, ya que en este caso se ha indicado que el número de anomalías es de un 5%, mientras que los datos anómalos son un algo menos del 5% (50/1050 ≅ 0,0476).
Medida de la anormalidad de los registros
Además del método predict(), la clase IsolationForest de Scikit-learn también cuenta con el método decision_function() para obtener la puntuación de decisión para cada registro. Una medida que indica la anormalidad o rareza de cada registro en comparación con el resto del conjunto de datos. Cuanto menor sea la puntuación, más probable es que los registros sean anómalos. Por otro lado, los registros con mayor puntuación son los más consistentes con el resto de los datos.
Los valores de la puntuación de decisión se pueden representar en un histograma.
decision_scores = model.decision_function(transactions)
# Visualizar las puntuaciones de decisión
plt.hist(decision_scores, bins=50)
plt.xlabel('Puntuación de Decisión')
plt.ylabel('Frecuencia')
plt.title('Histograma de Puntuaciones de Decisión')
plt.show()
Conclusiones
Isolation Forest es un algoritmo con el que se puede detectar de forma eficiente anomalías en conjuntos de datos de gran tamaño. Aislando rápidamente los datos que no son consistentes con el resto. Por esto, es un algoritmo ampliamente utilizado en diferentes aplicaciones prácticas en las que es necesario detectar datos que no son normales.
Imagen de Gerd Altmann en Pixabay
Deja una respuesta