Las diferentes estrategias que hemos visto hasta ahora para resolver un problema tipo Bandido Multibrazo (Multi-Armed Bandit) se basan en la exploración aleatoria de los estados, como puede ser el caso de Epsilon-Greedy, o en un conocimiento previo de los mismos, como es el caso de valores iniciales optimistas. Lo que puede ser problemático en ciertas ocasiones. Epsilon-Greedy … [Leer más...] acerca de UCB1 para un problema Bandido Multibrazo (Multi-Armed Bandit)
Machine learning
Machine Learning (Aprendizaje Automático o Aprendizaje Máquina) es la rama de la inteligencia artificial que estudia cómo construir sistemas que puedan aprender automáticamente de la experiencia. Esto es, sistemas que puedan realizar mejores predicciones o tomar mejores decisiones a medida que aumenta su experiencia.
Los algoritmos de Machine Learning se dividen en tres categorías en función de los datos utilizados: aprendizaje supervisado, aprendizaje no supervisado y aprendizaje por refuerzo. En aprendizaje supervisado se utilizan conjuntos de datos, durante el proceso de entrenamiento, en los que se conoce el valor que debe reproducir el modelo. Pudiéndose medir el desempeño de los modelos en base a lo bien que reproduce posteriormente estos valores en otros conjuntos de datos. Tal como se puede intuir del nombre, en el caso de aprendizaje no supervisado, no se busca que los modelos reproducen un valor concreto. Siendo el objetivo de estos modelos identificar patrones que permitan separar y clasificar los datos en diferentes grupos. Por otro lado, en aprendizaje por refuerzo se busca la creación de agentes que pueden realizar acciones sobre un entorno. Siendo este un aprendizaje completamente diferente a los dos anteriores.
Softmax para un problema Bandido Multibrazo (Multi-Armed Bandit)
Epsilon-Greedy es una estrategia que ofrece buenos resultados en la optimización de un problema Bandido Multibrazo (Multi-Armed Bandit). Aunque durante la fase de exploración selecciona todos los bandidos con la misma probabilidad. Algo que se puede optimizar seleccionando en esta fase los bandidos en base al valor de su recompensa esperada. Con lo que el agente solamente se … [Leer más...] acerca de Softmax para un problema Bandido Multibrazo (Multi-Armed Bandit)
Valores iniciales optimistas para un problema Bandido Multibrazo (Multi-Armed Bandit)
En entradas anteriores hemos aprendido a abordar el problema del Bandido Multibrazo utilizando para ello la estrategia llamada Epsilon-Greedy. Estrategia con la que se obtienen mejores resultados que los de un test A/B. Aunque Epsilon-Greedy tiene un problema cuando el número de episodios a jugar es elevado, continúa explorando los peores bandidos con una probabilidad fija … [Leer más...] acerca de Valores iniciales optimistas para un problema Bandido Multibrazo (Multi-Armed Bandit)
Epsilon-Greedy con decaimiento para un problema Bandido Multibrazo (Multi-Armed Bandit)
La semana pasada vimos cómo se podía usar la estrategia Epsilon-Greedy para resolver un problema tipo bandido multibrazo. Una estrategia que nos había dado mejores resultados que un test A/B. Pero esta estrategia tiene un problema, una vez que se sabe cuál es el mejor bandido se continuará jugando una cantidad de veces con bandidos que no son el óptimo. Lo que se puede resolver … [Leer más...] acerca de Epsilon-Greedy con decaimiento para un problema Bandido Multibrazo (Multi-Armed Bandit)
Epsilon-Greedy para el Bandido Multibrazo (Multi-Armed Bandit)
La semana pasada hemos visto cómo resolver el problema del Bandido Multibrazo mediante un test A/B. Con el que se jugó con cada uno de los bandidos una cantidad de veces dada hasta que se estaba seguro de cuál era el mejor de los bandidos. Esta aproximación no es eficiente, ya que en muchos casos se puede saber rápidamente cuáles son los peores, por lo que se puede plantear … [Leer más...] acerca de Epsilon-Greedy para el Bandido Multibrazo (Multi-Armed Bandit)
Test A/B para el Bandido Multibrazo (Multi-Armed Bandit)
Recientemente hemos visto el problema del Bandido Multibrazo (Multi-Armed Bandit). Una de las posibles soluciones que tenemos en nuestra mano para resolver este problema es utilizar un Test A/B. Esto es, evaluar durante un periodo de tiempo todos los bandidos por igual y decidir una vez finalizado este periodo de prueba cuál es el óptimo. O, si los datos no son concluyentes, … [Leer más...] acerca de Test A/B para el Bandido Multibrazo (Multi-Armed Bandit)
El Bandido Multibrazo (Multi-Armed Bandit)
El bandido multibrazo (multi-armed bandit) es uno de los problemas clásicos del aprendizaje por refuerzo. En este problema a un agente se le ofrece la posibilidad de jugar con N máquinas tragaperras, a las que se les suele llamar "bandidos" o "brazos", que ofrecen diferentes recompensas. La recompensa que ofrece cada uno de los bandidos viene dada por una distribución de … [Leer más...] acerca de El Bandido Multibrazo (Multi-Armed Bandit)
Libros de Machine Learning en castellano
Al publicar la noticia sobre la disponibilidad de la traducción del libro de Aurélien Géron "Hands-On Machine Learning with Scikit-Learn" al castellano he visto el interés que existe por estas ediciones. Siendo este un tema que no suelo tratar. Por eso en esta ocasión voy ha hacer una recopilación de algunos libros de Machine Learning en castellano, sean estas traducciones o … [Leer más...] acerca de Libros de Machine Learning en castellano
Publicado borrador de Web Neural Network API
Recientemente se acaba de publicar un borrador del estándar Web Neural Network API. Una API, aún en desarrollo, para que los programadores web puedan utilizar el hardware dedicado disponible en los dispositivos para modelos de Aprendizaje Automático y redes neuronales. Lo que permitirá una mejor implementación de modelos de Aprendizaje Automático en los futuros desarrollos … [Leer más...] acerca de Publicado borrador de Web Neural Network API
Aprendizaje automático para la detección del fraude en seguros
La industria de seguros es un sector muy atractivo para el crimen especializado en fraude. Debido a que, al igual que el caso de banca, las empresas aseguradoras gestionan grandes cantidades de dinero y datos confidenciales de sus asegurados. En este sector, los clientes siempre pueden simular siniestros para acceder al pago de los seguros, lo que puede llevar a grandes … [Leer más...] acerca de Aprendizaje automático para la detección del fraude en seguros
Aprendizaje automático para la detección del fraude en comercio electrónico
El comercio electrónico es un área en el que el fraude es cada vez más habitual. Tanto los clientes como los ciberdelincuentes pueden intentar obtener de forma fraudulenta los bienes o servicios comercializados. Afortunadamente este es un sector en el que los datos son abundantes y, por lo tanto, es posible utilizar sistemas de aprendizaje automático para la detección del … [Leer más...] acerca de Aprendizaje automático para la detección del fraude en comercio electrónico
Aprendizaje automático para la detección del fraude en banca
Una de las áreas más atractivas para los criminales es el sector bancario, debido a que gestiona grandes cantidades de dinero y datos privados de los clientes. La disponibilidad de datos permite que el aprendizaje automático sea una herramienta clave para la detección del fraude en banca. Ayudando a evitar pérdidas financieras y de reputación tanto para las entidades … [Leer más...] acerca de Aprendizaje automático para la detección del fraude en banca