Librería Python para resolver el Bandido Multibrazo (Multi-Armed Bandit)

Durante los últimos meses he estado dedicando las entradas de los viernes a describir diferentes estrategias existentes para abordar los problemas tipo Bandido Multibrazo (Multi-Armed Bandit) e implementarlas en Python. Creando de este modo una colección de código que puede ser interesante para la realización de comparaciones entre algoritmos. Por eso, recientemente he publicado este código como paquete en la cuenta de GitHub de Analytics Lane. Un paquete al que he llamado mablane. En esta entrada vamos a ver cómo se puede instalar y el uso básico de esta librería Python para resolver el Bandido Multibrazo.

Instalación de mablane

La liberia mablane se ha publicado en GitHub, por lo que es posible emplear pip para su instalación. Para ello solamente se tienen que escribir el siguiente comando en la terminal

pip install git+https://github.com/analyticslane/mablane.git

Lo que descargara el código y lo debería instalar como un paquete más de Python. A partir de este momento se puede usar el código del paquete normalmente en nuestro código de Python.

Utilización de librería Python para resolver el Bandido Multibrazo

Una vez instalada la librería se puede importar las clases para crear los diferentes bandidos, disponibles en mablane.bandits, y las clases para crear los diferentes agentes, disponibles en mablane.algortims. Por ejemplo, para comparar el rendimiento de Epsilon-Greedy, los algoritmos de seguimiento y UCB1 se puede usar un código como el siguiente.

import numpy as np
import matplotlib.pyplot as plt

from mablane.bandits import BinomialBandit
from mablane.algortims import Epsilon, Pursuit, UCB1

# Fijación de la semilla
np.random.seed(0)

# Creación de los bandidos
bandits = [BinomialBandit(0.02), BinomialBandit(0.06), BinomialBandit(0.10)]

# Creación del agente
pursuit = Pursuit(bandits)
epsilon = Epsilon(bandits)
ucb1 = UCB1(bandits)

# Simulación
pursuit.run(100000)
epsilon.run(100000)
ucb1.run(100000)

pursuit.plot(True, label='Pursuit')
epsilon.plot(True, label='Epsilon')
ucb1.plot(True, True, label='UCB1')
plt.legend()

Obteniendo como resultado la siguiente figura.

En la que se puede ver que para este ejemplo el algoritmo que más rápidamente identifica el mejor bandido es el de seguimiento (pursuit), seguido de Epsilon-Greedy. Unos resultados similares a los que hemos visto a lo largo de estos últimos meses. Aunque ahora es más fácil realizar comparaciones ya que tememos todos los algoritmos en un único paquete.

Contenido de la librería

En estos momentos la librería contiene dos clases para la creación de bandidos:

• binomial
• binomial negativa

Por otro lado, existen una clase para cada uno de los 16 algoritmos que se han visto durante estos últimos meses:

• Algoritmos de seguimiento (pursuit)
• Comparación de refuerzo (reinforcement comparison)
• Softmax
• Epsilon-Greedy
• Valores iniciales optimistas
• Muestreo de Thompson
• BayesUCB
• UCB
• UCB2
• UCB1-Tuned
• UCB1-Normal
• KL-UCB
• EXP3
• MOSS
• UCB_V
• CP-UCB

En el futuro posiblemente agregare nuevas clases con otras implementaciones de bandidos y agentes.

Conclusiones

La creación de una librería Python para resolver el Bandido Multibrazo con el código escrito durante los últimos hace que sea más fácil su utilización, además de facilitar la creación de comparaciones y benchmarks de cara a seleccionar el algoritmo más adecuado para cada ocasión.

Imagen de Jaesung An en Pixabay