Programación dinámica aproximada

Título original:

Approximate Dynamic Programmin

Contenido del libro:

Elogios de la primera edición

"Por fin, un libro dedicado a la programación dinámica y escrito utilizando el lenguaje de la investigación operativa (IO) Este hermoso libro llena un vacío en las bibliotecas de los especialistas y profesionales de la IO".

-- Computing Reviews

Esta nueva edición se centra en el modelado y cálculo de clases complejas de problemas de programación dinámica aproximada.

Comprender la programación dinámica aproximada (PDA) es vital para desarrollar soluciones prácticas y de alta calidad a problemas industriales complejos, especialmente cuando dichos problemas implican la toma de decisiones en presencia de incertidumbre. Approximate Dynamic Programming, Second Edition integra de forma única cuatro disciplinas distintas -procesos de decisión Markov, programación matemática, simulación y estadística- para demostrar cómo abordar, modelar y resolver con éxito una amplia gama de problemas de la vida real utilizando la PEA.

El libro sigue tendiendo puentes entre la informática, la simulación y la investigación operativa, y ahora adopta la notación y el vocabulario del aprendizaje por refuerzo, así como la búsqueda estocástica y la optimización por simulación. El autor esboza los algoritmos esenciales que sirven de punto de partida en el diseño de soluciones prácticas para problemas reales. Se introducen las tres maldiciones de la dimensionalidad que afectan a los problemas complejos y se ofrece una cobertura detallada de los retos de implementación. La segunda edición también incluye:

⬤ Un nuevo capítulo que describe cuatro clases fundamentales de políticas para trabajar con diversos problemas de optimización estocástica: políticas miopes, políticas de anticipación, aproximaciones de funciones de política y políticas basadas en aproximaciones de funciones de valor.

⬤ Un nuevo capítulo sobre la búsqueda de políticas que reúne conceptos de búsqueda estocástica y optimización por simulación e introduce una nueva clase de estrategias de aprendizaje óptimo.

⬤ Cobertura actualizada del problema de explotación de la exploración en ADP, incluyendo ahora un método desarrollado recientemente para realizar un aprendizaje activo en presencia de un estado físico, utilizando el concepto de gradiente de conocimiento.

⬤ Una nueva secuencia de capítulos que describen métodos estadísticos para aproximar funciones de valor, estimar el valor de una política fija y aproximar funciones de valor mientras se buscan políticas óptimas.

La cobertura que se presenta de la ADP hace hincapié en los modelos y algoritmos, centrándose en las aplicaciones y el cálculo relacionados, al tiempo que se analiza el aspecto teórico del tema que explora las pruebas de convergencia y la tasa de convergencia. En un sitio web relacionado se presenta un debate continuo sobre los campos en evolución de la programación dinámica por aproximación y el aprendizaje por refuerzo, junto con lecturas adicionales, software y conjuntos de datos.

Con sólo unos conocimientos básicos de estadística y probabilidad, Approximate Dynamic Programming, Second Edition es un libro excelente para los cursos de ingeniería industrial e investigación operativa de grado superior y postgrado. También sirve como valiosa referencia para investigadores y profesionales que utilizan la programación dinámica, la programación estocástica y la teoría de control para resolver problemas en su trabajo diario.