En entradas anteriores de esta serie se han visto diferentes versiones de las estrategias UCB aplicadas a la resolución de un problema tipo Bandido Multibrazo: UCB1, UCB2 y UCB-Tuned. Estrategias que han demostrado unos excelentes resultados. Otra versión de UCB con la que se suele obtener buenos resultados es UCB1-Normal, una modificación de UCB1 en la que se asume una … [Leer más...] acerca deUCB1-Normal para un problema Bandido Multibrazo (Multi-Armed Bandit)
Ciencia de datos
La ciencia de datos es un área de conocimiento interdisciplinar en el cual se utilizan procesos para recopilar, preparar, analizar, visualizar y modelar datos para extraer todo su valor. Pudiéndose emplear tanto con conjuntos de datos estructurados como no estructurados. Los científicos de datos, los profesionales de esta área deben poseer grandes conocimientos de estadística e informática. Además de conocimiento de los procesos que están modelando.
Con la ciencia de datos es posible revelar tendencias y obtener información para que tanto las empresas como las instituciones puedan tomar mejores decisiones. Basando estas así en conocimiento validado no en intuiciones.
Las publicaciones de esta sección abarca diferentes temas de áreas como la estadística, la minería de datos, el aprendizaje automático y la analítica predictiva.
UCB1-Tuned para un problema Bandido Multibrazo (Multi-Armed Bandit)
La semana pasada hemos visto UCB2, un algoritmo que ha ofrecido mejores rendimientos que UCB1 para nuestros bandidos basados en una distribución binomial. En esta ocasión vamos a ver UCB1-Tuned (también conocido como UCB-Tuned), una mejora de UCB1 en el que se modifica la fórmula con la que se calcula el límite de confianza superior.UCB1-TunedEl método UCB1-Tuned … [Leer más...] acerca deUCB1-Tuned para un problema Bandido Multibrazo (Multi-Armed Bandit)
UCB2 para un problema Bandido Multibrazo (Multi-Armed Bandit)
En la entrega anterior de esta serie hemos comenzado a ver cómo aplicar los métodos UCB (Upper Confidence Bounds) para resolver un problema del Bandido Multibrazo. Métodos en los que se estima un límite de confiaban superior para la recompensa de cada uno de los bandidos. Seleccionando en cada momento el que tenga la recompensa media más el límite de confianza mayor. En esta … [Leer más...] acerca deUCB2 para un problema Bandido Multibrazo (Multi-Armed Bandit)
UCB1 para un problema Bandido Multibrazo (Multi-Armed Bandit)
Las diferentes estrategias que hemos visto hasta ahora para resolver un problema tipo Bandido Multibrazo (Multi-Armed Bandit) se basan en la exploración aleatoria de los estados, como puede ser el caso de Epsilon-Greedy, o en un conocimiento previo de los mismos, como es el caso de valores iniciales optimistas. Lo que puede ser problemático en ciertas ocasiones. Epsilon-Greedy … [Leer más...] acerca deUCB1 para un problema Bandido Multibrazo (Multi-Armed Bandit)
Softmax para un problema Bandido Multibrazo (Multi-Armed Bandit)
Epsilon-Greedy es una estrategia que ofrece buenos resultados en la optimización de un problema Bandido Multibrazo (Multi-Armed Bandit). Aunque durante la fase de exploración selecciona todos los bandidos con la misma probabilidad. Algo que se puede optimizar seleccionando en esta fase los bandidos en base al valor de su recompensa esperada. Con lo que el agente solamente se … [Leer más...] acerca deSoftmax para un problema Bandido Multibrazo (Multi-Armed Bandit)
Valores iniciales optimistas para un problema Bandido Multibrazo (Multi-Armed Bandit)
En entradas anteriores hemos aprendido a abordar el problema del Bandido Multibrazo utilizando para ello la estrategia llamada Epsilon-Greedy. Estrategia con la que se obtienen mejores resultados que los de un test A/B. Aunque Epsilon-Greedy tiene un problema cuando el número de episodios a jugar es elevado, continúa explorando los peores bandidos con una probabilidad fija … [Leer más...] acerca deValores iniciales optimistas para un problema Bandido Multibrazo (Multi-Armed Bandit)
Epsilon-Greedy con decaimiento para un problema Bandido Multibrazo (Multi-Armed Bandit)
La semana pasada vimos cómo se podía usar la estrategia Epsilon-Greedy para resolver un problema tipo bandido multibrazo. Una estrategia que nos había dado mejores resultados que un test A/B. Pero esta estrategia tiene un problema, una vez que se sabe cuál es el mejor bandido se continuará jugando una cantidad de veces con bandidos que no son el óptimo. Lo que se puede resolver … [Leer más...] acerca deEpsilon-Greedy con decaimiento para un problema Bandido Multibrazo (Multi-Armed Bandit)
Epsilon-Greedy para el Bandido Multibrazo (Multi-Armed Bandit)
La semana pasada hemos visto cómo resolver el problema del Bandido Multibrazo mediante un test A/B. Con el que se jugó con cada uno de los bandidos una cantidad de veces dada hasta que se estaba seguro de cuál era el mejor de los bandidos. Esta aproximación no es eficiente, ya que en muchos casos se puede saber rápidamente cuáles son los peores, por lo que se puede plantear … [Leer más...] acerca deEpsilon-Greedy para el Bandido Multibrazo (Multi-Armed Bandit)
Test A/B para el Bandido Multibrazo (Multi-Armed Bandit)
Recientemente hemos visto el problema del Bandido Multibrazo (Multi-Armed Bandit). Una de las posibles soluciones que tenemos en nuestra mano para resolver este problema es utilizar un Test A/B. Esto es, evaluar durante un periodo de tiempo todos los bandidos por igual y decidir una vez finalizado este periodo de prueba cuál es el óptimo. O, si los datos no son concluyentes, … [Leer más...] acerca deTest A/B para el Bandido Multibrazo (Multi-Armed Bandit)
El Bandido Multibrazo (Multi-Armed Bandit)
El bandido multibrazo (multi-armed bandit) es uno de los problemas clásicos del aprendizaje por refuerzo. En este problema a un agente se le ofrece la posibilidad de jugar con N máquinas tragaperras, a las que se les suele llamar "bandidos" o "brazos", que ofrecen diferentes recompensas. La recompensa que ofrece cada uno de los bandidos viene dada por una distribución de … [Leer más...] acerca deEl Bandido Multibrazo (Multi-Armed Bandit)
Libros de Machine Learning en castellano
Al publicar la noticia sobre la disponibilidad de la traducción del libro de Aurélien Géron "Hands-On Machine Learning with Scikit-Learn" al castellano he visto el interés que existe por estas ediciones. Siendo este un tema que no suelo tratar. Por eso en esta ocasión voy ha hacer una recopilación de algunos libros de Machine Learning en castellano, sean estas traducciones o … [Leer más...] acerca deLibros de Machine Learning en castellano
El problema de Monty Hall (o de las tres puertas)
El problema de Monty Hall debe su nombre al presentador del popular concurso de televisión "Let's Make a Deal" en el que apareció este juego. Un concursante tiene que escoger entre tres puertas detrás de las que se esconde el premio, en dos de ellas hay una cabra y en la otra un coche. Tras seleccionar una de las puertas Monty Hall, el presentador del programa, abre una de las … [Leer más...] acerca deEl problema de Monty Hall (o de las tres puertas)
