Aprendizaje por refuerzo profundo con Python - Segunda edición

Opiniones de los lectores

La segunda edición de «Deep Reinforcement Learning with Python» ha sido ampliamente elogiada por su claridad, su exhaustiva cobertura de los conceptos del aprendizaje por refuerzo y sus ejemplos prácticos de codificación con TensorFlow 2.0 y OpenAI Gym. Sin embargo, algunos lectores lo encuentran anticuado en cuanto a sus dependencias de software y frustrante debido a la falta de explicación de conceptos en ciertos ejemplos.

⬤ Explicaciones claras y flujo gradual de conceptos desde temas básicos a avanzados de RL.
⬤ Ejercicios prácticos usando TensorFlow
⬤ 0 y OpenAI Gym que apoyan el aprendizaje práctico.
⬤ Cobertura muy detallada y completa de una amplia gama de algoritmos de aprendizaje por refuerzo.
⬤ Ilustraciones visuales que mejoran la comprensión.
⬤ Mejora significativa respecto a la primera edición, incluyendo explicaciones matemáticas detalladas.

⬤ Algunos contenidos pueden parecer anticuados, en particular debido a la dependencia de TensorFlow
⬤ x para ciertos ejemplos.
⬤ Falta de explicaciones detalladas en algunos ejemplos, lo que lleva a confusión sobre el razonamiento detrás de opciones específicas.
⬤ El libro es extenso (700 páginas), lo que algunos lectores encuentran abrumador y pueden sugerir dividirlo en versiones para principiantes y avanzadas.
⬤ Las instrucciones de instalación del entorno de código son consideradas insuficientes por algunos usuarios.

(basado en 21 opiniones de lectores)

Título original:

Deep Reinforcement Learning with Python - Second Edition

Contenido del libro:

Una guía rica en ejemplos para que los principiantes inicien su andadura en el aprendizaje por refuerzo y el aprendizaje profundo por refuerzo con distintos algoritmos de vanguardia.

Características principales

⬤ Cubre un amplio espectro de algoritmos de RL básicos a avanzados con explicaciones matemáticas de cada algoritmo.

⬤ Aprende a implementar algoritmos con código siguiendo ejemplos con explicaciones línea por línea.

⬤ Explore las últimas metodologías de RL como DDPG, PPO y el uso de demostraciones expertas.

Descripción del libro

Con mejoras significativas en la calidad y cantidad de algoritmos en los últimos años, esta segunda edición de Hands-On Reinforcement Learning with Python se ha renovado en una guía rica en ejemplos para aprender algoritmos de aprendizaje de refuerzo (RL) y RL profunda de última generación con TensorFlow 2 y el kit de herramientas OpenAI Gym.

Además de explorar los conceptos básicos y fundamentales de la RL, como la ecuación de Bellman, los procesos de decisión de Markov y los algoritmos de programación dinámica, esta segunda edición profundiza en todo el espectro de métodos de RL basados en valores, políticas y actores críticos. Explora en profundidad algoritmos de última generación como DQN, TRPO, PPO y ACKTR, DDPG, TD3 y SAC, desmitificando las matemáticas subyacentes y demostrando implementaciones mediante sencillos ejemplos de código.

El libro contiene varios capítulos nuevos dedicados a nuevas técnicas de RL, como la RL distribucional, el aprendizaje por imitación, la RL inversa y la meta RL. Aprenderá a aprovechar las líneas de base estables, una mejora de la biblioteca de líneas de base de OpenAI, para implementar sin esfuerzo algoritmos populares de RL. El libro concluye con una visión general de enfoques prometedores como el metaaprendizaje y los agentes aumentados por la imaginación en la investigación.

Al final, se convertirá en un experto en el empleo eficaz de la RL y la RL profunda en sus proyectos del mundo real.

Lo que aprenderá

⬤ Comprender los conceptos básicos de RL, incluidas las metodologías, las matemáticas y el código.

⬤ Entrenar un agente para resolver Blackjack, FrozenLake, y muchos otros problemas usando OpenAI Gym.

⬤ Entrenar un agente para jugar Ms Pac-Man usando una red Deep Q.

⬤ Aprenda métodos basados en políticas, valores y actores críticos.

⬤ Dominar las matemáticas detrás de DDPG, TD3, TRPO, PPO, y muchos otros.

⬤ Explorar nuevas vías como la RL distribucional, meta RL y RL inversa.

⬤ Utilizar líneas de base estables para entrenar a un agente a caminar y jugar juegos de Atari.

Para quién es este libro

Si eres un desarrollador de aprendizaje automático con poca o ninguna experiencia con redes neuronales interesado en la inteligencia artificial y quieres aprender sobre el aprendizaje por refuerzo desde cero, este libro es para ti.

Se requiere una familiaridad básica con el álgebra lineal, el cálculo y el lenguaje de programación Python. Alguna experiencia con TensorFlow sería una ventaja.