Optimización distribuida y aprendizaje estadístico mediante el método de los multiplicadores de sentido alterno

Título original:

Distributed Optimization and Statistical Learning Via the Alternating Direction Method of Multipliers

Contenido del libro:

Muchos problemas de interés reciente en estadística y aprendizaje automático pueden plantearse en el marco de la optimización convexa.

Debido a la explosión del tamaño y la complejidad de los conjuntos de datos modernos, cada vez es más importante poder resolver problemas con un gran número de características o ejemplos de entrenamiento. En consecuencia, tanto la recopilación o almacenamiento descentralizado de estos conjuntos de datos como los métodos de solución distribuida que los acompañan son necesarios o, al menos, muy deseables.

Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers (Optimización distribuida y aprendizaje estadístico mediante el método de los multiplicadores de dirección alterna) sostiene que el método de los multiplicadores de dirección alterna es muy adecuado para la optimización convexa distribuida y, en particular, para los problemas a gran escala que surgen en estadística, aprendizaje automático y áreas relacionadas. El método se desarrolló en la década de 1970, con raíces en la década de 1950, y es equivalente o está estrechamente relacionado con muchos otros algoritmos, como la descomposición dual, el método de los multiplicadores, la división Douglas-Rachford, el método de las inversiones parciales de Spingarn, las proyecciones alternas de Dykstra, los algoritmos iterativos de Bregman para ℓ. 1, métodos proximales y otros.

Tras un breve repaso de la teoría y la historia del algoritmo, se discuten las aplicaciones a una amplia variedad de problemas estadísticos y de aprendizaje automático de interés reciente, como el lazo, la regresión logística dispersa, la búsqueda de bases, la selección de covarianza, las máquinas de vectores soporte y muchos otros. También analiza la optimización distribuida general, las extensiones al entorno no convexo y la implementación eficiente, incluidos algunos detalles sobre las implementaciones distribuidas de MPI y Hadoop MapReduce.