• Saltar al contenido principal
  • Skip to secondary menu
  • Saltar a la barra lateral principal
  • Saltar al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Machine Learning
    • Noticias
    • Opinión
    • Productividad
    • Programación
      • JavaScript
      • Julia
      • Matlab
      • Python
      • R
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Laboratorio
    • Estadística
      • Calculadora del Tamaño Muestral en Encuestas
      • Calculadora de estadísticos descriptivos
      • Test de normalidad
      • Calculadora de contrastes de hipotesis
      • Calculadora de tamano del efecto
      • Simulador de Regresión Lineal con Ruido
      • Descenso de gradiente
      • Visualizador de PCA
      • Visualizador de Series Temporales
      • Simulador de Regresión Logística
      • Matriz de confusión e informe de clasificación
      • Visualizador de fronteras de decisión
      • Simulador de K-Means
      • Número Óptimo de Clusters
      • Simulador de DBSCAN
      • Detector de la Ley de Benford
      • Ajuste de Curvas
      • Calculadora de Matrices
    • Probabilidad
      • Calculadora de Probabilidad de Distribuciones
      • Problema del cumpleaños
      • Calculadora de Probabilidades de Lotería
      • Simulador del Problema de Monty Hall
      • La aguja de Buffon
      • Simulador de la Estrategia Martingala
      • Simulador de Cadenas de Markov
    • Finanzas
      • Calculadora de Préstamos e Hipotecas
      • Conversor TIN ↔ TAE
      • Calculadora DCA con ajuste por inflación
      • Comparador de tarifas de luz 2.0TD
      • Calculadora XIRR con Flujos Irregulares
      • Simulador FIRE (Financial Independence, Retire Early)
      • Frontera Eficiente
    • Negocios
      • CLV
      • Scoring
    • Herramientas
      • Formateador / Minificador de JSON
      • Conversor CSV ↔ JSON
      • Consultar CSV con SQL en el navegador
      • Extractor de tickets (OCR)
      • Comparador y Formateador de Texto y JSON
      • Formateador y Tester de Expresiones Regulares
      • Inspector de JWT
      • Generador y verificador de hashes
      • Calculadora HMAC
      • Codificador / Decodificador Base64 y URL
      • Conversor de bases numericas
      • Conversor de Timestamp Unix
      • Conversor de colores
      • Generador de UUIDs
      • Editor de expresiones cron
      • Conversor de unidades
    • Juegos
      • Tres en Raya
      • Nim con Q-Learning
    • Más
      • Método D’Hondt
      • Generador de Contraseñas Seguras
  • Noticias
  • Boletín
  • Contacto
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Machine Learning
  • IA Generativa
  • Python
  • Pandas
  • NumPy
  • R
  • Excel

EXP3 para un problema Bandido Multibrazo (Multi-Armed Bandit)

Aprendizaje por refuerzo, Machine learning, Multi-Armed Bandit

mayo 14, 2021 Por Daniel Rodríguez Deja un comentario
Tiempo de lectura: 4 minutos

Una estrategia bastante popular para solucionar los problemas tipo Bandido Multibrazo es EXP3. Siendo el nombre es una abreviatura de “Exponential-weight algorithm for Exploration and Exploitation” (Algoritmo de peso Exponencial para Exploración y Explotación). EXP3 se diferencia de otras estrategias populares como Epsilon Greedy o UCB1, siendo un algoritmo más tradicional de aprendizaje automático ya que aprende calculando pesos para identificar cual es el mejor bandido.

EXP3

El primer paso a la hora de trabajar con EXP3 es definir un vector de pesos (\omega) para cada uno de los k bandidos. Vector que se inicia con todos los valores igual a 1. Además, es necesario definir un parámetro de exploración (\gamma), el cual debe tomar un valor entre 0 y 1 sin incluir 0, esto es, debe estar en el rango (0,1]. Parámetro que define la probabilidad que tendrá el algoritmo de explorar los brazos al azar.

Una vez hecho esto se deben seguir los siguientes pasos:

  1. Obtener la probabilidad para cada uno de los brazos empleando para ello la expresión p_j(t) = (1 - \gamma) \frac{\omega_j(t)}{\sum_{i=0}^{k} \omega_i(t)} + \frac{\gamma}{k}
  2. Seleccionar aleatoriamente un bandido en base a la probabilidad calculada en el paso anterior.
  3. Obtener la recompensa y actualizar a la recompensa promedio para el bandido seleccionado en el paso anterior.
  4. Actualizar el peso mediante la expresión \omega_j(t+1) = \omega_j(t) e^{\gamma \bar{X_j}/k}

Lo que hace este algoritmo es explorar los estados aleatoriamente en base a una distribución de pesos obtenida a través de la experiencia. Priorizando la selección de aquellos bandidos con mayor rendimiento. Mediante el parámetro de exploración (\gamma) se define la probabilidad de seleccionar un bandido de forma aleatoria, siendo mayor a medida que aumente el valor. Ya que, cuando \gamma es 1, la selección es completamente aleatoria.

Shallow copy vs Deep copy en Python: la mutación inesperada
En Analytics Lane
Shallow copy vs Deep copy en Python: la mutación inesperada

Implementación de EXP3 en Python

El algoritmo EXP3 se puede implementar en Python utilizando para ello la clase Epsilon implementada en su momento para Epsilon-Greedy con decaimiento. A partir de la cual se puede crear una clase hija en la que es necesario sobrescribir los métodos select() y run(). Lo que se muestra en el siguiente código.

class Exp3(Epsilon):
    def __init__(self, bandits, gamma=0.05):
        self.bandits = bandits
        self.gamma = gamma
        
        self.reset()
        
        
    def run(self, episodes=1):
        for i in range(episodes):
            # Selección del bandido
            bandit = self.select()
            
            # Obtención de una nueva recompensa
            reward = bandits[bandit].pull()
            
            # Agregación de la recompensa al listado
            self._rewards.append(reward)
            
            # Actualización de la media
            self._plays[bandit] += 1
            self._mean[bandit] = (1 - 1.0/self._plays[bandit]) * self._mean[bandit] \
                                 + 1.0/self._plays[bandit] * reward
            
            # Actualización de los pesos
            self._weights[bandit] *= np.exp(self._mean[bandit] * self.gamma / len(self.bandits))
        
        return self.average_reward()
    
    
    def select(self):
        num_bandits = len(self.bandits)
        total = len(self._rewards)
        
        if total < len(bandits):
            bandit = total
        else:
            exp3 = [0] * num_bandits
            
            total_weights = np.sum(self._weights)

            for i in range(num_bandits):
                exp3[i] = (1 - self.gamma) * self._weights[i] / total_weights + self.gamma / num_bandits
        
            bandit = np.random.choice(num_bandits, p=exp3)
            
        return bandit
    
    
    def reset(self, initial=None):
        self._rewards = []
        self._plays = [0] * len(self.bandits)
        self._mean = [0] * len(self.bandits)
        self._weights = [1] * len(self.bandits) 

En el método run() se tiene que incluir la actualización de los pesos después de que juegue con un bandido. Valor que se actualiza en función de la recompensa obtenida y el valor del parámetro \gamma. Por otro lado, en el método select() se implementa el algoritmo mediante el cual se calcula el peso relativo que tendrá cada uno de los bandidos. Valor que se almacena en la variable exp3. Para, posteriormente, seleccionar un bandido en base a esta probabilidad, usando para ello la función np.random.choice() de NumPy.

Resultados

Tras la creación de una clase que implemente el algoritmo EXP3, compatible con los bandidos basados en la distribución binomial definidos en otra entrada anterior, se puede comparar el rendimiento de este con UCB1. Para ello se puede utilizar por ejemplo el siguiente pedazo de código.

np.random.seed(0)

bandits = [Bandit(0.02), Bandit(0.06), Bandit(0.10)]

exp3 = Exp3(bandits)
ucb_1 = UCB1(bandits)

exp3.run(220000)
ucb_1.run(220000)

exp3.plot(True, label='EXP3')
ucb_1.plot(True, True, label='UCB1')
plt.legend()

Con lo que se obtiene la siguiente gráfica.

Evolución de la recompensa promedio con el número de tiradas para EXP3 y UCB1 con tres bandidos basados en una distribución binomial
Evolución de la recompensa promedio con el número de tiradas para EXP3 y UCB1 con tres bandidos basados en una distribución binomial

En este caso se puede ver que EXP3 ofrece un rendimiento inferior a UCB1. Algo que, en cierta medida es de esperar, ya que usa una aproximación en la que se realiza una exploración de los estados.

También se puede comprobar que, a medida que se aumenta el valor de \gamma el valor esperado a largo plazo será menor, ya que aumenta el porcentaje de jugadas al azar. Lo que se puede comprobar mediante el siguiente código.

np.random.seed(0)

bandits = [Bandit(0.02), Bandit(0.06), Bandit(0.10)]

exp3_01 = Exp3(bandits, 0.01)
exp3_05 = Exp3(bandits, 0.05)
exp3_10 = Exp3(bandits, 0.10)

exp3_01.run(220000)
exp3_05.run(220000)
exp3_10.run(220000)

exp3_01.plot(True, label='EXP3 0.01')
exp3_05.plot(True, label='EXP3 0.05')
exp3_10.plot(True, True, label='EXP3 0.10')
plt.legend()

A partir del cual se obtiene el siguiente resultado, con el que se confirman las sospechas.

Evolución de la recompensa promedio con el número de tiradas para EXP3 con diferentes parámetros gamma y tres bandidos basados en una distribución binomial
Evolución de la recompensa promedio con el número de tiradas para EXP3 con diferentes parámetros gamma y tres bandidos basados en una distribución binomial

Conclusiones

En esta ocasión se ha visto una estrategia clásica para solucionar un problema de Bandido Multibrazo en la que se estima un peso con el que se seleccionará la probabilidad de seleccionar un bandido. El método ofrece generalmente un rendimiento inferior a los UCB (UCB1, UCB2, UCB1-Tuned, UCB1-Normal, BayesUCB o KL-UCB) ya que es una estrategia más sencilla.

Imagen de Rudy and Peter Skitterians en Pixabay

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 0 / 5. Votos emitidos: 0

Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Publicaciones relacionadas

  • Shallow copy vs Deep copy en Python: la mutación inesperada
  • Cómo Proyectar Cuándo Alcanzarás la Independencia Financiera
  • Analytics Lane lanza la versión 1.5 del laboratorio con un extractor de tickets por OCR y consultas SQL sobre CSV en el navegador
  • Cómo Saber si una Diferencia Significativa es Importante
  • Curiosidad: “Wi-Fi” no significa “Wireless Fidelity”
  • Cómo Explorar un Dataset antes de Modelar
  • Cómo Elegir el Test de Hipótesis Correcto para tus Datos
  • Tuplas vs Listas en Python: parecen lo mismo, pero no
  • == vs is en Python: la diferencia que causa bugs misteriosos

Publicidad

Publicado en: Ciencia de datos Etiquetado como: Aprendizaje por refuerzo, Machine learning, Multi-Armed Bandit

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Barra lateral principal

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

Analytics Lane en redes sociales

  • Amazon
  • Bluesky
  • Facebook
  • GitHub
  • Instagram
  • Mastodon
  • Pinterest
  • RSS
  • Telegram
  • Tumblr
  • Twitter
  • YouTube

Publicidad

Entradas recientes

Noticias

Analytics Lane lanza la versión 1.5 del laboratorio con un extractor de tickets por OCR y consultas SQL sobre CSV en el navegador

noviembre 18, 2026 Por Daniel Rodríguez

Cómo Explorar un Dataset antes de Modelar

noviembre 17, 2026 Por Daniel Rodríguez

Curiosidad: “Wi-Fi” no significa “Wireless Fidelity”

noviembre 12, 2026 Por Daniel Rodríguez

Publicidad

Es tendencia

  • Instantáneas de VirtualBox (Snapshots) publicado el marzo 27, 2019 | en Herramientas
  • Noticias Analytics Lane lanza la versión 1.5 del laboratorio con un extractor de tickets por OCR y consultas SQL sobre CSV en el navegador publicado el noviembre 18, 2026 | en Noticias
  • Usar el depurador de Visual Studio Code con Jest publicado el diciembre 6, 2023 | en Herramientas
  • Curiosidad: ¿Por qué se llama “regresión” lineal? publicado el noviembre 20, 2025 | en Ciencia de datos, Opinión
  • La tabla de la web finalmente importada en Excel Importar tablas desde la web en Excel publicado el octubre 21, 2020 | en Herramientas

Publicidad

Lo mejor valorado

4.9 (24)

Seleccionar filas y columnas en Pandas con iloc y loc

4.6 (16)

Archivos JSON con Python: lectura y escritura

4.4 (14)

Ordenación de diccionarios en Python mediante clave o valor

4.7 (13)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

4.1 (11)

Aplicar el método D’Hondt en Excel

Comentarios recientes

  • Daniel Rodríguez en Curiosidad: La Paradoja de Simpson, o por qué no siempre debes fiarte de los promedios
  • Hatepi en Curiosidad: La Paradoja de Simpson, o por qué no siempre debes fiarte de los promedios
  • Daniel Rodríguez en Los récords con asterisco, o la épica del titular sin contexto – El bestiario de los indicadores económicos absurdos (parte 8 y final)
  • Juan en Los récords con asterisco, o la épica del titular sin contexto – El bestiario de los indicadores económicos absurdos (parte 8 y final)
  • bif en JSON en bases de datos: cuándo es buena idea y cuándo no

Publicidad


Footer

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Libros
  • Lo más popular
  • Noticias
  • Tienda
  • Tiendas afiliadas

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Machine Learning
  • Opinión
  • Productividad
  • Programación
  • Reseñas

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Copyright © 2018-2026 Analytics Lane ·Términos y condiciones ·Política de Cookies ·Política de Privacidad ·Herramientas de privacidad ·Contacto