Identificar el número de clústeres con Calinski-Harabasz en k-means e implementación en Python

Cuando se desea realizar análisis de clúster uno de los algoritmos más utilizados es k-means. Lo que se explica por los buenos resultados que suele ofrecer con la mayoría de los conjuntos de datos y su simplicidad. Pero tiene un problema, es necesario conocer el número de clústeres en los que se debe dividir el conjunto de datos. Por lo que existen diferentes métodos como el método del codo (elbow method), silueta (silhouette) o gap statistics. Otro método que es bastante popular es el de Calinski-Harabasz, para lo que se usa el índice del mismo nombre, que se puede implementar fácilmente en Python.

Interpretación del índice de Calinski-Harabasz

El índice de Calinski-Harabasz (también conocido como el Criterio de Relación de Varianza, Variance Ratio Criterion) es una métrica con la que se puede evaluar el grado de agrupación de un conjunto de datos. Indicando una mejor agrupación cuando mayor sea el valor del índice. Para lo que se define como el cociente entre la dispersión entre clústeres (lo que se mide como la suma de las distancias al cuadrado entre los centroides de cada clúster y el centroide global) y la dispersión promedio de cada uno de los clústeres (evaluado mediante la suma de las distancias al cuadrado de cada punto respecto al centroide de cada clúster). La ratio de un valor que debe crecer al mejorar la agrupación entre otro que se debe reducir.

En Analytics Lane

La caverna del consumo, o cómo Greenspan miraba calzoncillos para hacer política monetaria – El bestiario de los indicadores económicos absurdos (parte 1)

Cálculo del índice Calinski-Harabasz

Para obtener el índice en primer lugar se debe obtener la suma de las distancias al cuadrado entre clústeres (BSS, Between-Cluster Sum of Squares) que se define como BSS = \sum_{k=1}{K} n_k |C_k - C|^2, donde n_k es el número de observaciones en el clúster k, C_k es el centroide del clúster k, C es el centroide del conjunto de datos y K es el número de clústeres.

Por otro lado, la suma de las distancias al cuadrado dentro de cada cluster (WSS, Within-Cluster Sum of Squares) se puede obtener mediante la expresión WSS = \sum_{i=1}^{n_k} |X_{ik} - C_k|^2, donde n_k es el número de observaciones del cluster k y X_{ik} es la observación i del cluster k.

De este modo el índice Calinski-Harabasz se puede definir como CH = \frac{\frac{BSS}{K-1}}{\frac{WSS}{N-L}}, donde N es el número total de observaciones.

Identificar el número de clústeres con Calinski-Harabasz

Una vez definición el índice de Calinski-Harabasz, para seleccionar el número óptimo de clústeres se puede realizar el siguiente proceso:

1. Selecciona un rango de valores para el número de clústeres a considerar.
2. Entrenar un modelo de k-means para cada valor de k con el conjunto de datos.
3. Calcular el índice de Calinski-Harabasz para cada valor de k.
4. Seleccionar el valor de k que maximice el índice de Calinski-Harabasz.

Implementación en Python del método de Calinski-Harabasz

El método de Calinski-Harabasz se puede implementar fácilmente en Python ya que el índice se puede calcular mediante la función calinski_harabasz_score() de Scikit-learn. Por lo que una implementación puede ser la que se muestra en el siguiente código.

from sklearn.cluster import KMeans
from sklearn.metrics import calinski_harabasz_score

def calinski_harabasz(data, max_clusters=10):
    """
    Aplica el método de Calinski-Harabasz para seleccionar el número óptimo de clusters en k-means.

    Parámetros:
    ----------
    data : matriz o matriz dispersa, forma (n_samples, n_features)
        Los datos de entrada.

    max_clusters : int, opcional (por defecto=10)
        El número máximo de clusters a considerar.

    Retorna:
    -------
    optimal_clusters : int
        El número óptimo de clusters seleccionado por el método de Calinski-Harabasz.
    """

    scores = []

    for k in range(2, max_clusters+1):
        kmeans = KMeans(n_clusters=k)
        kmeans.fit(data)
        score = calinski_harabasz_score(data, kmeans.labels_)
        scores.append(score)

    # Encontrar el número óptimo de clusters
    optimal_clusters = 2 + scores.index(max(scores))

    return optimal_clusters

Ahora se puede generar un conjunto de datos aleatorios con la función make_blobs() para comprobar que el método funciona correctamente.

from sklearn.datasets import make_blobs

# Genera un conjunto de datos de ejemplo con 4 clusters
data, _ = make_blobs(n_samples=500, centers=4, n_features=2, random_state=42)

calinski_harabasz(data)

4

Obteniendo como resultado el número de clusteres indicado a la función de generación de datos.

Conclusiones

El método de Calinski-Harabasz es otra herramienta de la que se dispone para seleccionar el número óptimo de clústeres para una agrupación realizada con k-means. Un método que se puede complementar con otros como el del codo, silueta o gap statistics para tomar una mejor decisión.

Imagen de Pexels en Pixabay