• Saltar al contenido principal
  • Skip to secondary menu
  • Saltar a la barra lateral principal
  • Saltar al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Machine Learning
    • Noticias
    • Opinión
    • Productividad
    • Programación
      • JavaScript
      • Julia
      • Matlab
      • Python
      • R
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Noticias
  • Boletín
  • Contacto
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad
    • Tiendas afiliadas
      • AliExpress
      • Amazon
      • Banggood
      • GeekBuying
      • Lenovo

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Machine Learning
  • Python
  • Pandas
  • NumPy
  • Matlab
  • Julia
  • JavaScript
  • Excel

UCB2 para un problema Bandido Multibrazo (Multi-Armed Bandit)

abril 9, 2021 Por Daniel Rodríguez Deja un comentario
Tiempo de lectura: 4 minutos

En la entrega anterior de esta serie hemos comenzado a ver cómo aplicar los métodos UCB (Upper Confidence Bounds) para resolver un problema del Bandido Multibrazo. Métodos en los que se estima un límite de confiaban superior para la recompensa de cada uno de los bandidos. Seleccionando en cada momento el que tenga la recompensa media más el límite de confianza mayor. En esta ocasión vamos a ver cómo se puede implementar el método UCB2 para un problema Bandido Multibrazo.

UCB2

El método UCB2 es una mejora de UCB1 en la que se reduce el número de veces en las que se selecciona un bandido que no sea el óptimo. Reduciendo de este modo el número de tiradas en modo exploración. Aunque esto se hace a costa de un algoritmo algo más complejo.

En UCB2 se selecciona el bandido que maximice el siguiente valor

X_{UCB2_j} = \bar{X_j} + \sqrt{\frac{(1 + \alpha) \log(\frac{e N}{\tau_j})}{2 \tau_j}},

Donde \bar{X_j} es la recompensa media observada en el bandido j, \alpha es un parámetro que se influye en el ratio de aprendizaje del algoritmo, N es el número total de tiradas en los todos los bandidos y \tau es un valor entero que se obtiene mediante la expresión

\tau_j = \lceil (1 + \alpha)^n_j \rceil.

Expresión en la que n_j es el número de veces que se ha realizado una tirada con el bandido j.

Publicidad


En UCB2 la fase de exploración se divide en épocas de tamaño variable en las que se juega con cada uno de los bandidos la siguiente cantidad de veces

\lceil (1 + \alpha)^{n_j+1} - (1 + \alpha)^n_j \rceil

Implementación de UCB2 en Python

Ahora que conocemos la expresión que se utiliza en UCB2 podemos implementar una clase en Python. Basándonos para ello en la creada anteriormente para UCB1. Clase a la que es necesario agregar una nueva propiedad para indicar el valor del parámetro alpha requerido por UCB2. Además es necesario modificar el método select() con las expresiones que se han visto anteriormente. Todo ello es lo que se muestra en el siguiente código.

import sys

class UCB2(Epsilon):
    def __init__(self, bandits, alpha=0.1):
        self.bandits = bandits
        self.alpha = alpha
        
        self.reset()
    
    
    def select(self):
        num_bandits = len(self.bandits)
        total = len(self._rewards)
        
        if total == 0:
            bandit = np.random.choice(len(bandits))
        else:
            ucb = [0] * num_bandits
            
            for i in range(num_bandits):
                try:
                    tau = int(np.ceil((1 + self.alpha) ** self._plays[i]))
                    if np.log(np.e * total / tau) > 0:
                        bonus = np.sqrt((1. + self.alpha) * np.log(np.e * total / tau) / (2 * tau))
                    else:
                        bonus = 0
                except:
                    bonus = 0
                    
                if np.isnan(bonus):
                    ucb[i] = self._mean[i] 
                else:
                    ucb[i] = self._mean[i] + bonus
        
            max_bandits = np.where(ucb == np.max(ucb))[0]
            bandit = np.random.choice(max_bandits)
            
        return bandit
    
    
    def reset(self, initial=None):
        self._rewards = []
        self._plays = [0] * len(self.bandits)
        self._mean = [0] * len(self.bandits)

Nótese que en el método select() la primera vez, cuando el número total de jugadas es cero, se selecciona un bandido de forma aleatoria. A partir de este punto se calcula un bonus para cada uno de los bandidos basado en el número de total de tiradas y las veces jugadas con cada uno de ellos.

Al igual que en ocasiones anteriores, cuando se observa un empate, se decide el bandido con el que se juega de forma aleatoria.

Resultados de UCB2

Para evaluar el rendimiento de este algoritmo se puede usar la clase Bandit con la que se han probado los algoritmos anteriores. Para ello solamente es necesario emplear el siguiente código:

Publicidad


np.random.seed(0)

bandits = [Bandit(0.02), Bandit(0.06), Bandit(0.10)]

ucb_a = UCB2(bandits, 0.5)
ucb_b = UCB2(bandits, 0.3)
ucb_c = UCB2(bandits, 0.1)

ucb_a.run(200000)
ucb_b.run(200000)
ucb_c.run(200000)

ucb_a.plot(True, label='0.5')
ucb_b.plot(True, label='0.3')
ucb_c.plot(True, True, label='0.1')
plt.legend()

Obteniendo como resultado la siguiente gráfica.

UCB2
Evolución de la recompensa promedio con el número de tiradas para tres versiones del algoritmo UCB2 con tres bandidos basados en una distribución binomial

En esta ocasión lo primero que se puede apreciar es cómo la recompensa promedio después de 10.000 tiradas es prácticamente la óptima en todos los casos. Aunque, a medida que se aumenta el valor de alpha, vemos que el agente se decanta más rápidamente por la solución óptima. Lo que se puede ver en el número de veces totales que el agente ha jugado con soluciones sub-óptimas. En el caso de alpha igual a 0,5, el agente ha seleccionado 16 veces el primer bandido y 24 el segundo, por lo que ha jugado 199.960 veces de 200.000 con el bandido óptimo. Por otro lado, cuando alpha es 0,1 el agente ha jugado 66 veces con el primer y segundo bandido, jugando 199.868 con el óptimo. Números que explican claramente los resultados vistos en la figura.

Conclusiones

En esta ocasión hemos visto cómo usar UCB2 para un problema Bandido Multibrazo. Un método que ha demostrado ser el más eficiente de los vistos hasta el momento, aunque esto sea a costa de una mayor complejidad que UCB1. En futuras entregas veremos otros métodos UCB-Normal o UCB-Tuned.

Imagen de Kanenori en Pixabay

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 0 / 5. Votos emitidos: 0

Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Publicaciones relacionadas

  • Comparación de refuerzo (reinforcement comparison) para un problema Bandido Multibrazo (Multi-Armed Bandit)
    Comparación de refuerzo (reinforcement comparison) para un…
  • Epsilon-Greedy para el Bandido Multibrazo (Multi-Armed Bandit)
    Epsilon-Greedy para el Bandido Multibrazo (Multi-Armed…
  • UCB1-Tuned para un problema Bandido Multibrazo (Multi-Armed Bandit)
    UCB1-Tuned para un problema Bandido Multibrazo (Multi-Armed…
  • CP-UCB para un problema Bandido Multibrazo (Multi-Armed Bandit)
    CP-UCB para un problema Bandido Multibrazo (Multi-Armed…
  • UCB-V para un problema Bandido Multibrazo (Multi-Armed Bandit)
    UCB-V para un problema Bandido Multibrazo (Multi-Armed…
  • UCB1 para un problema Bandido Multibrazo (Multi-Armed Bandit)
    UCB1 para un problema Bandido Multibrazo (Multi-Armed…

Publicado en: Ciencia de datos Etiquetado como: Aprendizaje por refuerzo, Machine learning

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Publicidad




Barra lateral principal

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

Analytics Lane en redes sociales

  • Amazon
  • Facebook
  • GitHub
  • Instagram
  • Pinterest
  • RSS
  • Twitter
  • Tumblr
  • YouTube

Publicidad

Entradas recientes

El método de Hare-Niemeyer y su implementación en Python

septiembre 29, 2023 Por Daniel Rodríguez

Redimensionar una partición de disco LVM con espacio no asignado en Linux

septiembre 27, 2023 Por Daniel Rodríguez

¿Cómo saber la versión de Pandas o cualquier otra librería en Python?

septiembre 25, 2023 Por Daniel Rodríguez

Publicidad

Es tendencia

  • ¿Cómo eliminar columnas y filas en un dataframe pandas? publicado el marzo 25, 2019 | en Python
  • Seleccionar filas y columnas en Pandas con iloc y loc publicado el junio 21, 2019 | en Python
  • Sistema de ecuaciones Sistemas de ecuaciones lineales con numpy publicado el octubre 29, 2018 | en Python
  • La aplicación Auto Py to Exe Creación de un EXE desde un archivo Python en Windows publicado el mayo 16, 2022 | en Python
  • ¿Cómo cambiar el nombre de las columnas en Pandas? publicado el mayo 6, 2019 | en Python

Publicidad

Lo mejor valorado

4.9 (22)

Seleccionar filas y columnas en Pandas con iloc y loc

4.7 (12)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

4.6 (15)

Archivos JSON con Python: lectura y escritura

4.5 (10)

Diferencias entre var y let en JavaScript

4.3 (12)

Ordenación de diccionarios en Python mediante clave o valor

Publicidad

Comentarios recientes

  • Daniel Rodríguez en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • Miguel en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • alberto en Resolver problema de credenciales en Bitbucket
  • Pablo en Aplicar el método D’Hondt en Excel
  • Agapito en Creación de un EXE desde un archivo Python en Windows

Publicidad

Footer

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Libros
  • Lo más popular
  • Noticias
  • Tienda
  • Tiendas afiliadas

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Machine Learning
  • Opinión
  • Productividad
  • Programación
  • Reseñas

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Copyright © 2018-2023 Analytics Lane ·Términos y condiciones ·Política de Cookies ·Política de Privacidad ·Herramientas de privacidad ·Contacto