Aprendizaje ensemble por votación mayoritaria

A la hora de crear un modelo de aprendizaje automático para clasificar las clases en una tarea dada existen múltiples familias de algoritmo. Se puede utilizar una regresión logística, unos árboles de decisión, unas máquinas de vectores de soporte (SVM), unos k-vecinos o redes neuronales. Pero no siempre se obtiene los resultados deseosos. En estas situaciones una solución puede ser la combinación de diferentes modelos para obtener uno que pueda ofrecer un mejor rendimiento. Lo que se puede conseguir mediante la utilización los métodos de aprendizaje ensemble.

Los métodos de aprendizaje ensemble

El objetivo de los métodos de aprendizaje ensemble es crear un metaclasificador mediante la combinación de diferentes clasificadores. Combinando de esta manera los puntos fuertes de cada. Obteniendo de esta manera un clasificado con el que se consigue mejores rendimientos que con cada uno de los clasificadores individuales, reduciendo al mismo tiempo la posibilidad de sobreajuste.

Entre los métodos de aprendizaje ensemble más utilizados se encuentran los de votación mayoritaria. En la que cada uno de los clasificadores utilizados realiza una predicción independiente y se selecciona como consenso la que ha sido seleccionada por la mayoría. Esperando que la combinación de varias predicciones ofrezca mejores resultados. Entre los métodos de votación mayoritaria se pueden es posible destacar dos familias

• Voting: utiliza modelos de diferentes familias (k-nn, SVM, etc) con el mismo conjunto de datos para obtener un metaclasificador.
• Bagging: entrena la misma familia de modelos con conjunto de datos diferentes, esperando que cada uno se puede especializar en diferentes datos. Uno ejemplo de esta aproximación es Random Forest.

Funcionamiento básico de los métodos de votación mayoritaria

Supongamos que se dispone de tres clasificadores para un mismo problema: una regresión logística, unos árboles de decisión y una máquina de vectores de soporte (SVM). Ofreciendo cada uno de ellos una predicción independiente.

Para obtener una predicción en base a los tres simplemente se ha de seleccionar aquella que indique por los menos dos de los tres clasificadores. Por ejemplo, supongamos que está buscando si una operación es o no fraudulenta. Entonces si la regresión logística indica que la operación es fraudulenta y el árbol de decisión indica que no lo es, la predicción de la SVM deshará el empate. En el caso de que los tres clasificadores indiquen lo mismo la selección es más clara.

Conclusiones

En esta entrada hemos visto cómo funcionan los métodos de aprendizaje ensemble basados en votación mayoritaria. Unos métodos con los que es posible obtener modelos con mejor rendimiento combinando el resultado de clasificadores básicos.

Imágenes: Pixabay (yunje5054)