Aprendizaje profundo para la restauración y superresolución de imágenes y vídeos

Título original:

Deep Learning for Image/Video Restoration and Super-resolution

Contenido del libro:

En esta monografía se presenta una visión general de los desarrollos recientes y el estado del arte en restauración de imagen/vídeo y superresolución (SR) mediante aprendizaje profundo. El aprendizaje profundo ha tenido un impacto significativo, no solo en la visión por ordenador y el procesamiento del lenguaje natural, sino también en problemas clásicos de procesamiento de señales como la restauración/SR de imagen/vídeo y la compresión. Los recientes avances en arquitecturas neuronales han llevado a mejoras significativas en el rendimiento de la restauración y SR de imagen/vídeo aprendida. Una ventaja importante de los enfoques de aprendizaje profundo basados en datos es que los modelos neuronales se pueden optimizar para cualquier función de pérdida diferenciable, incluidas las funciones de pérdida perceptual visual, lo que conduce a la restauración de vídeo perceptual y SR, que no se pueden manejar fácilmente con los enfoques tradicionales basados en modelos.

La publicación comienza con un planteamiento del problema y un breve debate sobre las soluciones tradicionales frente a las basadas en datos. A continuación, se consideran los avances recientes en arquitecturas neuronales y se discuten las funciones de pérdida y los criterios de evaluación para la restauración de imágenes/vídeos y la SR. También se consideran la restauración de imágenes y la SR aprendidas, como el aprendizaje de un mapeo desde el espacio de imágenes degradadas a imágenes ideales basado en el teorema de aproximación universal, o un modelo generativo que captura la distribución de probabilidad de las imágenes ideales. También se incluyen problemas prácticos de aplicación del entrenamiento supervisado a la restauración y la SR en la vida real, así como los modelos de solución.

En la sección sobre la SR de vídeo aprendida, se tratan los enfoques para explotar las correlaciones temporales en el procesamiento de vídeo aprendido y, a continuación, se analiza la optimización perceptual de los parámetros de la red para obtener una textura y un movimiento naturales. La publicación concluye con una discusión comparativa de varios enfoques.