Título original:
Gradient Descent, Stochastic Optimization, and Other Tales
Contenido del libro:
El objetivo de este libro es desacreditar y disipar la magia que se esconde tras los optimizadores de caja negra y los optimizadores estocásticos. Pretende sentar unas bases sólidas sobre cómo y por qué funcionan estas técnicas.
Este manuscrito cristaliza este conocimiento derivando, a partir de intuiciones sencillas, las matemáticas que subyacen a las estrategias. Este libro no rehúye abordar los aspectos formales e informales de los métodos de descenso de gradiente y optimización estocástica. Al hacerlo, espera proporcionar a los lectores una comprensión más profunda de estas técnicas, así como el cuándo, el cómo y el por qué de la aplicación de estos algoritmos.
El descenso gradiente es uno de los algoritmos más populares para realizar optimizaciones y, con diferencia, la forma más común de optimizar tareas de aprendizaje automático. Su versión estocástica recibe atención en los últimos años, y esto es particularmente cierto para la optimización de redes neuronales profundas.
En las redes neuronales profundas, el gradiente seguido de una sola muestra o un lote de muestras se emplea para ahorrar recursos computacionales y escapar de los puntos de silla. En 1951, Robbins y Monro publicaron A stochastic approximation method, uno de los primeros tratamientos modernos sobre optimización estocástica que estima gradientes locales con un nuevo lote de muestras.
Y ahora, la optimización estocástica se ha convertido en una tecnología fundamental en el aprendizaje automático, en gran parte debido al desarrollo del algoritmo de retropropagación en el ajuste de una red neuronal. El único objetivo de este artículo es ofrecer una introducción autocontenida a los conceptos y herramientas matemáticas del descenso de gradiente y la optimización estocástica.
