Aprendizaje por refuerzo y optimización estocástica: Un Marco Unificado para Decisiones Secuenciales

Opiniones de los lectores

El libro se caracteriza por ser una guía completa y exhaustiva de la programación dinámica estocástica y el aprendizaje por refuerzo, adecuada para profesionales de la investigación operativa. Conecta con éxito diversos campos, como el aprendizaje por refuerzo y la teoría del control, al tiempo que proporciona un marco unificado para la toma de decisiones secuenciales. Sin embargo, adolece de numerosas erratas y de un estilo de redacción que algunos pueden encontrar enrevesado.

⬤ Cobertura exhaustiva de los conceptos de toma de decisiones secuenciales.
⬤ Bien escrito y accesible para lectores de diversos orígenes.
⬤ Conecta diferentes campos de forma eficaz, ofreciendo valiosas perspectivas.
⬤ Proporciona un marco unificado para múltiples comunidades relacionadas con las decisiones secuenciales.
⬤ Ejercicios útiles y una buena referencia para los profesionales.

⬤ Alto número de erratas y dudosas elecciones de notación.
⬤ Carece de derivaciones para algunos resultados matemáticos, lo que obliga a los lectores a verificarlos o volver a deducirlos por su cuenta.
⬤ El estilo de redacción puede resultar enrevesado para algunos, haciendo tediosa su lectura.
⬤ El contenido está muy centrado en la investigación operativa, lo que puede alejar a los lectores de otros campos, como el aprendizaje automático.

(basado en 12 opiniones de lectores)

Título original:

Reinforcement Learning and Stochastic Optimization: A Unified Framework for Sequential Decisions

Contenido del libro:

APRENDIZAJE POR REFUERZO Y OPTIMIZACIÓN ESTOCÁSTICA

Despejar la jungla de la optimización estocástica.

Los problemas de decisión secuencial, que consisten en "decisión, información, decisión, información", son omnipresentes y abarcan prácticamente todas las actividades humanas, desde las aplicaciones empresariales, la salud (personal y pública, y la toma de decisiones médicas), la energía, las ciencias, todos los campos de la ingeniería, las finanzas y el comercio electrónico. La diversidad de aplicaciones atrajo la atención de al menos 15 campos de investigación distintos, que utilizaron ocho sistemas notacionales distintos que produjeron una amplia gama de herramientas analíticas. Un subproducto es que las potentes herramientas desarrolladas en una comunidad pueden ser desconocidas para otras comunidades.

Reinforcement Learning and Stochastic Optimization ofrece un único marco canónico que puede modelar cualquier problema de decisión secuencial utilizando cinco componentes básicos: variables de estado, variables de decisión, variables de información exógena, función de transición y función objetivo. Este libro destaca doce tipos de incertidumbre que pueden entrar en cualquier modelo y agrupa el variado conjunto de métodos para tomar decisiones, conocidos como políticas, en cuatro clases fundamentales que abarcan todos los métodos sugeridos en la literatura académica o utilizados en la práctica.

Reinforcement Learning and Stochastic Optimization es el primer libro que ofrece un tratamiento equilibrado de los distintos métodos para modelar y resolver problemas de decisión secuenciales, siguiendo el estilo utilizado por la mayoría de los libros sobre aprendizaje automático, optimización y simulación. La presentación está diseñada para lectores con un curso de probabilidad y estadística, y un interés en la modelización y las aplicaciones. La programación lineal se utiliza ocasionalmente para clases de problemas específicos. El libro está diseñado para lectores que son nuevos en este campo, así como para aquellos con cierta experiencia en optimización bajo incertidumbre.

A lo largo de este libro, los lectores encontrarán referencias a más de 100 aplicaciones diferentes, que abarcan problemas de aprendizaje puro, problemas dinámicos de asignación de recursos, problemas generales dependientes del estado y problemas híbridos de aprendizaje/asignación de recursos, como los que surgieron en la pandemia COVID. Hay 370 ejercicios, organizados en siete grupos, que van desde preguntas de repaso, modelización, cálculo, resolución de problemas, teoría, ejercicios de programación y un "problema diario" que el lector elige al principio del libro y que sirve de base para las preguntas del resto del libro.