Aprendizaje por refuerzo, segunda edición: An Introduction

Opiniones de los lectores

El libro está ampliamente considerado como un recurso esencial para los entusiastas y profesionales del aprendizaje por refuerzo (RL). Es elogiado por su profundidad, claridad, ejercicios bien estructurados y enfoque pedagógico, que lo hacen accesible incluso para quienes tienen una formación matemática moderada. Sin embargo, las críticas se centran en la inconsistencia de la calidad de impresión, en particular en las ediciones que no proceden directamente de MIT Press, y en las dudas sobre su idoneidad para los principiantes en este campo.

⬤ Cobertura completa del aprendizaje por refuerzo
⬤ ejercicios bien estructurados y rigurosos
⬤ explicaciones claras
⬤ buena calidad de impresión en las copias vendidas directamente por MIT Press
⬤ útil para varios niveles de experiencia (en particular para los que tienen algún conocimiento previo)
⬤ incluye conexiones interdisciplinarias con la psicología y la neurociencia.

⬤ Calidad de impresión inconsistente, especialmente en los ejemplares vendidos por terceros
⬤ no es adecuado como texto introductorio para principiantes
⬤ algunas secciones son intensivas en matemáticas
⬤ el contenido histórico puede ser considerado innecesario por algunos lectores
⬤ errores editoriales menores en algunos ejemplares.

(basado en 115 opiniones de lectores)

Título original:

Reinforcement Learning, Second Edition: An Introduction

Contenido del libro:

La nueva edición, significativamente ampliada y actualizada, de un texto ampliamente utilizado sobre el aprendizaje por refuerzo, una de las áreas de investigación más activas en inteligencia artificial.

El aprendizaje por refuerzo, una de las áreas de investigación más activas en inteligencia artificial, es un enfoque computacional del aprendizaje mediante el cual un agente intenta maximizar la cantidad total de recompensa que recibe mientras interactúa con un entorno complejo e incierto. En Reinforcement Learning, Richard Sutton y Andrew Barto exponen de forma clara y sencilla las ideas y algoritmos clave de este campo. Esta segunda edición se ha ampliado y actualizado considerablemente, presentando nuevos temas y actualizando la cobertura de otros.

Al igual que la primera edición, esta segunda se centra en los algoritmos básicos del aprendizaje en línea, con el material más matemático apartado en recuadros sombreados. La Parte I cubre la mayor parte posible del aprendizaje por refuerzo sin ir más allá del caso tabular para el que se pueden encontrar soluciones exactas. Muchos algoritmos presentados en esta parte son nuevos en la segunda edición, incluidos UCB, Expected Sarsa y Double Learning. La Parte II extiende estas ideas a la aproximación de funciones, con nuevas secciones sobre temas como las redes neuronales artificiales y la base de Fourier, y ofrece un tratamiento ampliado del aprendizaje fuera de política y de los métodos de gradiente de política. La Parte III contiene nuevos capítulos sobre las relaciones del aprendizaje por refuerzo con la psicología y la neurociencia, así como un capítulo actualizado de estudios de casos que incluye AlphaGo y AlphaGo Zero, el juego de Atari y la estrategia de apuestas de IBM Watson. El último capítulo analiza las futuras repercusiones sociales del aprendizaje por refuerzo.