• Saltar al contenido principal
  • Skip to secondary menu
  • Saltar a la barra lateral principal
  • Saltar al pie de página
  • Inicio
  • Secciones
    • Ciencia de datos
    • Criptografía
    • Herramientas
    • Machine Learning
    • Noticias
    • Opinión
    • Productividad
    • Programación
      • JavaScript
      • Julia
      • Matlab
      • Python
      • R
  • Programación
    • JavaScript
    • Julia
    • Matlab
    • Python
    • R
  • Noticias
  • Boletín
  • Contacto
  • Tienda
    • Libros
    • Equipamiento de oficina
    • Equipamiento en movilidad
    • Tiendas afiliadas
      • AliExpress
      • Amazon
      • Banggood
      • GeekBuying
      • Lenovo

Analytics Lane

Ciencia e ingeniería de datos aplicada

  • Ciencia de datos
  • Machine Learning
  • Python
  • Pandas
  • NumPy
  • Matlab
  • Julia
  • JavaScript
  • Excel

Librería Python para resolver el Bandido Multibrazo (Multi-Armed Bandit)

junio 25, 2021 Por Daniel Rodríguez Deja un comentario
Tiempo de lectura: 3 minutos

Durante los últimos meses he estado dedicando las entradas de los viernes a describir diferentes estrategias existentes para abordar los problemas tipo Bandido Multibrazo (Multi-Armed Bandit) e implementarlas en Python. Creando de este modo una colección de código que puede ser interesante para la realización de comparaciones entre algoritmos. Por eso, recientemente he publicado este código como paquete en la cuenta de GitHub de Analytics Lane. Un paquete al que he llamado mablane. En esta entrada vamos a ver cómo se puede instalar y el uso básico de esta librería Python para resolver el Bandido Multibrazo.

Instalación de mablane

La liberia mablane se ha publicado en GitHub, por lo que es posible emplear pip para su instalación. Para ello solamente se tienen que escribir el siguiente comando en la terminal

pip install git+https://github.com/analyticslane/mablane.git

Lo que descargara el código y lo debería instalar como un paquete más de Python. A partir de este momento se puede usar el código del paquete normalmente en nuestro código de Python.

Utilización de librería Python para resolver el Bandido Multibrazo

Una vez instalada la librería se puede importar las clases para crear los diferentes bandidos, disponibles en mablane.bandits, y las clases para crear los diferentes agentes, disponibles en mablane.algortims. Por ejemplo, para comparar el rendimiento de Epsilon-Greedy, los algoritmos de seguimiento y UCB1 se puede usar un código como el siguiente.

import numpy as np
import matplotlib.pyplot as plt

from mablane.bandits import BinomialBandit
from mablane.algortims import Epsilon, Pursuit, UCB1

# Fijación de la semilla
np.random.seed(0)

# Creación de los bandidos
bandits = [BinomialBandit(0.02), BinomialBandit(0.06), BinomialBandit(0.10)]

# Creación del agente
pursuit = Pursuit(bandits)
epsilon = Epsilon(bandits)
ucb1 = UCB1(bandits)

# Simulación
pursuit.run(100000)
epsilon.run(100000)
ucb1.run(100000)

pursuit.plot(True, label='Pursuit')
epsilon.plot(True, label='Epsilon')
ucb1.plot(True, True, label='UCB1')
plt.legend()

Obteniendo como resultado la siguiente figura.

Resultados de la comparación del rendimiento de Epsilon-Greedy, los algoritmos de seguimiento y UCB1 con las clases de la librería mablane.
Resultados de la comparación del rendimiento de Epsilon-Greedy, los algoritmos de seguimiento y UCB1 con las clases de la librería mablane.

En la que se puede ver que para este ejemplo el algoritmo que más rápidamente identifica el mejor bandido es el de seguimiento (pursuit), seguido de Epsilon-Greedy. Unos resultados similares a los que hemos visto a lo largo de estos últimos meses. Aunque ahora es más fácil realizar comparaciones ya que tememos todos los algoritmos en un único paquete.

Publicidad


Contenido de la librería

En estos momentos la librería contiene dos clases para la creación de bandidos:

  • binomial
  • binomial negativa

Por otro lado, existen una clase para cada uno de los 16 algoritmos que se han visto durante estos últimos meses:

  • Algoritmos de seguimiento (pursuit)
  • Comparación de refuerzo (reinforcement comparison)
  • Softmax
  • Epsilon-Greedy
  • Valores iniciales optimistas
  • Muestreo de Thompson
  • BayesUCB
  • UCB
  • UCB2
  • UCB1-Tuned
  • UCB1-Normal
  • KL-UCB
  • EXP3
  • MOSS
  • UCB_V
  • CP-UCB

En el futuro posiblemente agregare nuevas clases con otras implementaciones de bandidos y agentes.

Conclusiones

La creación de una librería Python para resolver el Bandido Multibrazo con el código escrito durante los últimos hace que sea más fácil su utilización, además de facilitar la creación de comparaciones y benchmarks de cara a seleccionar el algoritmo más adecuado para cada ocasión.

Imagen de Jaesung An en Pixabay

¿Te ha parecido de utilidad el contenido?

¡Puntúalo entre una y cinco estrellas!

Puntuación promedio 0 / 5. Votos emitidos: 0

Publicidad


Ya que has encontrado útil este contenido...

¡Síguenos en redes sociales!

¡Siento que este contenido no te haya sido útil!

¡Déjame mejorar este contenido!

Dime, ¿cómo puedo mejorar este contenido?

Publicaciones relacionadas

  • EXP3 para un problema Bandido Multibrazo (Multi-Armed Bandit)
    EXP3 para un problema Bandido Multibrazo (Multi-Armed…
  • UCB2 para un problema Bandido Multibrazo (Multi-Armed Bandit)
    UCB2 para un problema Bandido Multibrazo (Multi-Armed…
  • Algoritmos de seguimiento (pursuit) para un problema Bandido Multibrazo (Multi-Armed Bandit)
    Algoritmos de seguimiento (pursuit) para un problema Bandido…
  • Epsilon-Greedy para el Bandido Multibrazo (Multi-Armed Bandit)
    Epsilon-Greedy para el Bandido Multibrazo (Multi-Armed…
  • Valores iniciales optimistas para un problema Bandido Multibrazo (Multi-Armed Bandit)
    Valores iniciales optimistas para un problema Bandido…
  • KL-UCB para un problema Bandido Multibrazo (Multi-Armed Bandit)
    KL-UCB para un problema Bandido Multibrazo (Multi-Armed…

Publicado en: Ciencia de datos, Python Etiquetado como: Aprendizaje por refuerzo, Machine learning

Interacciones con los lectores

Deja una respuesta Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

I accept the Terms and Conditions and the Privacy Policy

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Publicidad




Barra lateral principal

Suscríbete a nuestro boletín

Suscríbete al boletín semanal para estar al día de todas las publicaciones.

Política de Privacidad

Analytics Lane en redes sociales

  • Amazon
  • Facebook
  • GitHub
  • Instagram
  • Pinterest
  • RSS
  • Twitter
  • Tumblr
  • YouTube

Publicidad

Entradas recientes

El método de Hare-Niemeyer y su implementación en Python

septiembre 29, 2023 Por Daniel Rodríguez

Redimensionar una partición de disco LVM con espacio no asignado en Linux

septiembre 27, 2023 Por Daniel Rodríguez

¿Cómo saber la versión de Pandas o cualquier otra librería en Python?

septiembre 25, 2023 Por Daniel Rodríguez

Publicidad

Es tendencia

  • ¿Cómo eliminar columnas y filas en un dataframe pandas? publicado el marzo 25, 2019 | en Python
  • Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas publicado el mayo 10, 2019 | en Python
  • Seleccionar filas y columnas en Pandas con iloc y loc publicado el junio 21, 2019 | en Python
  • Sistema de ecuaciones Sistemas de ecuaciones lineales con numpy publicado el octubre 29, 2018 | en Python
  • La aplicación Auto Py to Exe Creación de un EXE desde un archivo Python en Windows publicado el mayo 16, 2022 | en Python

Publicidad

Lo mejor valorado

4.9 (22)

Seleccionar filas y columnas en Pandas con iloc y loc

4.7 (12)

Operaciones de filtrado de DataFrame con Pandas en base a los valores de las columnas

4.6 (15)

Archivos JSON con Python: lectura y escritura

4.5 (10)

Diferencias entre var y let en JavaScript

4.3 (12)

Ordenación de diccionarios en Python mediante clave o valor

Publicidad

Comentarios recientes

  • Daniel Rodríguez en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • Miguel en ¿Cómo eliminar columnas y filas en un dataframe pandas?
  • alberto en Resolver problema de credenciales en Bitbucket
  • Pablo en Aplicar el método D’Hondt en Excel
  • Agapito en Creación de un EXE desde un archivo Python en Windows

Publicidad

Footer

Analytics Lane

  • Acerca de Analytics Lane
  • Boletín de noticias
  • Contacto
  • Libros
  • Lo más popular
  • Noticias
  • Tienda
  • Tiendas afiliadas

Secciones

  • Ciencia de datos
  • Criptografía
  • Herramientas
  • Machine Learning
  • Opinión
  • Productividad
  • Programación
  • Reseñas

Sobre de Analytics Lane

En Analytics Lane tratamos de explicar los principales conceptos de la ciencia e ingeniería de datos con un enfoque práctico. Los principales temas tratados son ciencia de datos, ingeniería de datos, inteligencia artificial, machine learning, deep learning y criptografía. Además, también se habla de los principales lenguajes de programación y herramientas utilizadas por los científicos e ingenieros de datos.

Copyright © 2018-2023 Analytics Lane ·Términos y condiciones ·Política de Cookies ·Política de Privacidad ·Herramientas de privacidad ·Contacto