Aprendizaje por refuerzo y optimización estocástica: Un Marco Unificado para Decisiones Secuenciales

Título original:

Reinforcement Learning and Stochastic Optimization: A Unified Framework for Sequential Decisions

Contenido del libro:

APRENDIZAJE POR REFUERZO Y OPTIMIZACIÓN ESTOCÁSTICA

Despejar la jungla de la optimización estocástica.

Los problemas de decisión secuencial, que consisten en "decisión, información, decisión, información", son omnipresentes y abarcan prácticamente todas las actividades humanas, desde las aplicaciones empresariales, la salud (personal y pública, y la toma de decisiones médicas), la energía, las ciencias, todos los campos de la ingeniería, las finanzas y el comercio electrónico. La diversidad de aplicaciones atrajo la atención de al menos 15 campos de investigación distintos, que utilizaron ocho sistemas notacionales distintos que produjeron una amplia gama de herramientas analíticas. Un subproducto es que las potentes herramientas desarrolladas en una comunidad pueden ser desconocidas para otras comunidades.

Reinforcement Learning and Stochastic Optimization ofrece un único marco canónico que puede modelar cualquier problema de decisión secuencial utilizando cinco componentes básicos: variables de estado, variables de decisión, variables de información exógena, función de transición y función objetivo. Este libro destaca doce tipos de incertidumbre que pueden entrar en cualquier modelo y agrupa el variado conjunto de métodos para tomar decisiones, conocidos como políticas, en cuatro clases fundamentales que abarcan todos los métodos sugeridos en la literatura académica o utilizados en la práctica.

Reinforcement Learning and Stochastic Optimization es el primer libro que ofrece un tratamiento equilibrado de los distintos métodos para modelar y resolver problemas de decisión secuenciales, siguiendo el estilo utilizado por la mayoría de los libros sobre aprendizaje automático, optimización y simulación. La presentación está diseñada para lectores con un curso de probabilidad y estadística, y un interés en la modelización y las aplicaciones. La programación lineal se utiliza ocasionalmente para clases de problemas específicos. El libro está diseñado para lectores que son nuevos en este campo, así como para aquellos con cierta experiencia en optimización bajo incertidumbre.

A lo largo de este libro, los lectores encontrarán referencias a más de 100 aplicaciones diferentes, que abarcan problemas de aprendizaje puro, problemas dinámicos de asignación de recursos, problemas generales dependientes del estado y problemas híbridos de aprendizaje/asignación de recursos, como los que surgieron en la pandemia COVID. Hay 370 ejercicios, organizados en siete grupos, que van desde preguntas de repaso, modelización, cálculo, resolución de problemas, teoría, ejercicios de programación y un "problema diario" que el lector elige al principio del libro y que sirve de base para las preguntas del resto del libro.