Entendiendo la diferencia entre votación hard y votación soft en aprendizaje automático

La precisión y la robustez de los modelos es una de las características por la que los modelos de Aprendizaje Automático son tan útiles en una variedad de problemas. Una de las técnicas para mejorar estas características en los modelos es el Aprendizaje por Conjuntos (Ensemble Learning). En este tipo de aprendizaje se entrenan diferentes modelos y las predicciones se obtienen mediante la votación, dividiéndose en dos variantes principales: votación Hard y votación Soft. En esta entrada se analizarán las características que diferencian la votación hard y votación soft en aprendizaje automático.

Aprendizaje por conjuntos: Una estrategia para la mejora de los modelos predictivos

El aprendizaje por conjuntos de es una de las principales estrategias que se usan en aprendizaje automático para mejorar la capacidad predictiva de los modelos. Para ello, en lugar de entrenar un único modelo, se entrenan diferentes y se combinan sus predicciones mediante un sistema de votación. Complementando así unos modelos con otros. Generalmente la combinación de varios modelos produce un modelo mucho más preciso y resistente a la fuentes de variabilidad de los datos.

Para obtener la predicción del conjunto los sistemas de votación se dividen en dos grandes categorías: la votación hard y votación soft. En el primero cada uno de los modelos solamente realiza una predicción, mientras que el segundo también es necesario que indique la confianza asociada a esta predicción.

Votación Hard: La decisión de la mayoría

La votación Hard, también conocida como votación por mayoría, es una la estrategia más sencilla, pero aun así efectiva, para combinar las predicciones de los diferentes modelos. En este enfoque, cada uno de los modelos realiza su predicción y la clase que obtiene la mayoría de los votos en la seleccionada como predicción del modelo de ensemble. Siendo un método especialmente útil cuando la clasificación final se toma de forma categórica: una clase u otra.

Las principales características de votación Hard son:

• Simplicidad y eficiencia: La votación Hard es fácil de implementar, ya que solamente es necesario contar las predicciones de cada clase.
• Estabilidad y robustez ante outliers: Al depender de la mayoría, la votación Hard puede ser más robusta ante predicciones erróneas o los outliers de modelos individuales. Además, en los problemas de clasificación binaria, la votación Hard puede proporcionar una estabilidad adicional al evitar empates.
• Interpretabilidad: La decisión basada en la mayoría es fácilmente interpretable y comprensible, lo que es crucial para sectores donde la transparencia e interpretabilidad de los modelos sea clave.

Votación Soft: La ponderación de probabilidades en las predicciones

Por otro lado, en la votación Soft, también conocida como votación por ponderación de probabilidades, se considera no solo la clase predicha por cada modelo, sino también la confianza asociada a esa predicción en términos de probabilidades. En lugar de contar votos, se promedian las probabilidades para cada clase. Así la predicción final del modelo será la clase con la probabilidad promedio más alta en lugar de la que más votos hubiese recibido.

Las principales características de votación Soft son:

• Incorporación de incertidumbre: La votación Soft permite incorporar la incertidumbre que existe en los modelos al tener en cuenta las probabilidades asociadas a las predicciones.
• Mayor sensibilidad y granularidad: Al utilizar información más detallada, la votación Soft puede ser más sensible a las sutilezas de los datos. Facilitando con ello una predicción más granular. Esto puede ser beneficioso en los problemas donde la confianza es crucial.
• Mejores resultados en problemas de regresión: A diferencia de la votación Hard, la votación Soft se adapta naturalmente a problemas de regresión, ya que gestiona mejor la predicción de valores continuos de los modelos.

Selección del modelo de votación más adecuada

La elección entre votación hard y votación soft dependerá, como es habitual en aprendizaje automático, de la naturaleza del problema y la información que se tenga en cuenta sobre las predicciones. Algunos puntos que se deben tener en cuenta a la hora de realiza la elección del modelo son:

• Naturaleza del problema: En problemas donde las decisiones son claras y binarias, la votación hard puede ser un modelo sencillo que puede ser suficiente y más fácil de implementar. Por otro lado, en casos más complejos donde se dispone de grados de certeza, la votación soft suele ofrecer mejores resultados.
• Desempeño y naturaleza de los modelos: Si los modelos individuales tienen un rendimiento muy dispar, la votación soft puede ser más robusta, ya que tiene en cuenta la confianza de cada modelo. Además, hay familias de modelos que no ofrecen grados de certeza y por lo tanto no se pueden usar votaciones tipo soft.
• Interpretabilidad: La votación hard es más fácil de interpretar, ya que las decisiones son simples. Algo que no es tan fácil en la votación soft.

Conclusiones

En esta entrada se han visto las diferencias entre votación hard y votación soft en los modelos de aprendizaje automático. Analizando las principales características de cada uno de ellos. Lo que permite comprender las diferencias esenciales entre cada una de estas estrategias de votación y las principales ventajas y casos de uso de cada uno de los enfoques.

Imagen de 윤재 손 en Pixabay