• Saltar al contenido principal
  • Skip to secondary menu
  • Saltar a la barra lateral principal
  • Saltar al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Machine Learning
    • Noticias
    • Opinión
    • Productividad
    • Programación
      • JavaScript
      • Julia
      • Matlab
      • Python
      • R
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Noticias
  • Boletín
  • Contacto
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad
    • Tiendas afiliadas
      • AliExpress
      • Amazon
      • Banggood
      • GeekBuying
      • Lenovo

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Machine Learning
  • Python
  • Pandas
  • NumPy
  • Matlab
  • Julia
  • JavaScript
  • Excel

Identificar el número de clústeres con Calinski-Harabasz en k-means e implementación en Python

junio 16, 2023 Por Daniel Rodríguez Deja un comentario
Tiempo de lectura: 3 minutos

Cuando se desea realizar análisis de clúster uno de los algoritmos más utilizados es k-means. Lo que se explica por los buenos resultados que suele ofrecer con la mayoría de los conjuntos de datos y su simplicidad. Pero tiene un problema, es necesario conocer el número de clústeres en los que se debe dividir el conjunto de datos. Por lo que existen diferentes métodos como el método del codo (elbow method), silueta (silhouette) o gap statistics. Otro método que es bastante popular es el de Calinski-Harabasz, para lo que se usa el índice del mismo nombre, que se puede implementar fácilmente en Python.

Interpretación del índice de Calinski-Harabasz

El índice de Calinski-Harabasz (también conocido como el Criterio de Relación de Varianza, Variance Ratio Criterion) es una métrica con la que se puede evaluar el grado de agrupación de un conjunto de datos. Indicando una mejor agrupación cuando mayor sea el valor del índice. Para lo que se define como el cociente entre la dispersión entre clústeres (lo que se mide como la suma de las distancias al cuadrado entre los centroides de cada clúster y el centroide global) y la dispersión promedio de cada uno de los clústeres (evaluado mediante la suma de las distancias al cuadrado de cada punto respecto al centroide de cada clúster). La ratio de un valor que debe crecer al mejorar la agrupación entre otro que se debe reducir.

Cálculo del índice Calinski-Harabasz

Para obtener el índice en primer lugar se debe obtener la suma de las distancias al cuadrado entre clústeres (BSS, Between-Cluster Sum of Squares) que se define como BSS = \sum_{k=1}{K} n_k |C_k - C|^2, donde n_k es el número de observaciones en el clúster k, C_k es el centroide del clúster k, C es el centroide del conjunto de datos y K es el número de clústeres.

Por otro lado, la suma de las distancias al cuadrado dentro de cada cluster (WSS, Within-Cluster Sum of Squares) se puede obtener mediante la expresión WSS = \sum_{i=1}^{n_k} |X_{ik} - C_k|^2, donde n_k es el número de observaciones del cluster k y X_{ik} es la observación i del cluster k.

De este modo el índice Calinski-Harabasz se puede definir como CH = \frac{\frac{BSS}{K-1}}{\frac{WSS}{N-L}}, donde N es el número total de observaciones.

Publicidad


Identificar el número de clústeres con Calinski-Harabasz

Una vez definición el índice de Calinski-Harabasz, para seleccionar el número óptimo de clústeres se puede realizar el siguiente proceso:

  1. Selecciona un rango de valores para el número de clústeres a considerar.
  2. Entrenar un modelo de k-means para cada valor de k con el conjunto de datos.
  3. Calcular el índice de Calinski-Harabasz para cada valor de k.
  4. Seleccionar el valor de k que maximice el índice de Calinski-Harabasz.

Implementación en Python del método de Calinski-Harabasz

El método de Calinski-Harabasz se puede implementar fácilmente en Python ya que el índice se puede calcular mediante la función calinski_harabasz_score() de Scikit-learn. Por lo que una implementación puede ser la que se muestra en el siguiente código.

from sklearn.cluster import KMeans
from sklearn.metrics import calinski_harabasz_score

def calinski_harabasz(data, max_clusters=10):
    """
    Aplica el método de Calinski-Harabasz para seleccionar el número óptimo de clusters en k-means.

    Parámetros:
    ----------
    data : matriz o matriz dispersa, forma (n_samples, n_features)
        Los datos de entrada.

    max_clusters : int, opcional (por defecto=10)
        El número máximo de clusters a considerar.

    Retorna:
    -------
    optimal_clusters : int
        El número óptimo de clusters seleccionado por el método de Calinski-Harabasz.
    """

    scores = []

    for k in range(2, max_clusters+1):
        kmeans = KMeans(n_clusters=k)
        kmeans.fit(data)
        score = calinski_harabasz_score(data, kmeans.labels_)
        scores.append(score)

    # Encontrar el número óptimo de clusters
    optimal_clusters = 2 + scores.index(max(scores))

    return optimal_clusters

Ahora se puede generar un conjunto de datos aleatorios con la función make_blobs() para comprobar que el método funciona correctamente.

from sklearn.datasets import make_blobs

# Genera un conjunto de datos de ejemplo con 4 clusters
data, _ = make_blobs(n_samples=500, centers=4, n_features=2, random_state=42)

calinski_harabasz(data)
4

Obteniendo como resultado el número de clusteres indicado a la función de generación de datos.

Conclusiones

El método de Calinski-Harabasz es otra herramienta de la que se dispone para seleccionar el número óptimo de clústeres para una agrupación realizada con k-means. Un método que se puede complementar con otros como el del codo, silueta o gap statistics para tomar una mejor decisión.

Publicidad


Imagen de Pexels en Pixabay

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 0 / 5. Votos emitidos: 0

Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Publicaciones relacionadas

  • Diferencias entre Hard y Soft Clustering
    Diferencias entre Hard y Soft Clustering
  • Cuatro aplicaciones de la Inteligencia Artificial en Política
    Cuatro aplicaciones de la Inteligencia Artificial en…
  • Optimizar el número de clústeres con gap statistics
    Optimizar el número de clústeres con gap statistics
  • Algoritmos de seguimiento (pursuit) para un problema Bandido Multibrazo (Multi-Armed Bandit)
    Algoritmos de seguimiento (pursuit) para un problema Bandido…
  • Cómo funciona k-modes e implementación en Python
    Cómo funciona k-modes e implementación en Python
  • Número óptimo de clústeres con Silhouette e implementación en Python
    Número óptimo de clústeres con Silhouette e implementación…

Publicado en: Ciencia de datos Etiquetado como: Machine learning

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Publicidad




Barra lateral principal

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

Analytics Lane en redes sociales

  • Amazon
  • Facebook
  • GitHub
  • Instagram
  • Pinterest
  • RSS
  • Twitter
  • Tumblr
  • YouTube

Publicidad

Entradas recientes

El método de Hare-Niemeyer y su implementación en Python

septiembre 29, 2023 Por Daniel Rodríguez

Redimensionar una partición de disco LVM con espacio no asignado en Linux

septiembre 27, 2023 Por Daniel Rodríguez

¿Cómo saber la versión de Pandas o cualquier otra librería en Python?

septiembre 25, 2023 Por Daniel Rodríguez

Publicidad

Es tendencia

  • Unir y combinar dataframes con pandas en Python publicado el septiembre 10, 2018 | en Python
  • ¿Cómo cambiar el nombre de las columnas en Pandas? publicado el mayo 6, 2019 | en Python
  • Enviar mensajes de WhatsApp con Python publicado el marzo 7, 2022 | en Python
  • Sistema de ecuaciones Sistemas de ecuaciones lineales con numpy publicado el octubre 29, 2018 | en Python
  • Ecuaciones multilínea en Markdown publicado el septiembre 14, 2022 | en Herramientas

Publicidad

Lo mejor valorado

4.9 (22)

Seleccionar filas y columnas en Pandas con iloc y loc

4.7 (12)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

4.6 (15)

Archivos JSON con Python: lectura y escritura

4.5 (10)

Diferencias entre var y let en JavaScript

4.3 (12)

Ordenación de diccionarios en Python mediante clave o valor

Publicidad

Comentarios recientes

  • Daniel Rodríguez en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • Miguel en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • alberto en Resolver problema de credenciales en Bitbucket
  • Pablo en Aplicar el método D’Hondt en Excel
  • Agapito en Creación de un EXE desde un archivo Python en Windows

Publicidad

Footer

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Libros
  • Lo más popular
  • Noticias
  • Tienda
  • Tiendas afiliadas

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Machine Learning
  • Opinión
  • Productividad
  • Programación
  • Reseñas

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Copyright © 2018-2023 Analytics Lane ·Términos y condiciones ·Política de Cookies ·Política de Privacidad ·Herramientas de privacidad ·Contacto