Canalización de datos con Apache Airflow

Opiniones de los lectores

El libro es muy recomendable como recurso completo para aprender y utilizar Apache Airflow, ya que cubre de forma eficaz tanto los temas básicos como los avanzados. La estructura permite a los lectores comprender rápidamente los fundamentos, al tiempo que proporciona información en profundidad para los profesionales experimentados. Sin embargo, se ha observado que las discusiones sobre seguridad se retrasan hasta una sección posterior, lo que algunos lectores consideran preocupante.

Explicaciones detalladas, incluye las mejores prácticas, ejemplos de código adaptables, cubre tanto temas básicos como avanzados, bien escrito y estructurado, excelente tanto para principiantes como para usuarios experimentados, contiene recetas prácticas y ejemplos realistas, sirve como una gran referencia.

Los temas de seguridad se abordan tarde en el libro (página 322), algunos lectores consideran que pueden faltar consejos prácticos inmediatos para aplicaciones en el lugar de trabajo.

(basado en 12 opiniones de lectores)

Título original:

Data Pipelines with Apache Airflow

Contenido del libro:

Data Pipelines with Apache Airflow le enseña a construir y mantener pipelines de datos eficaces.

Resumen

Un pipeline de éxito mueve los datos eficientemente, minimizando las pausas y los bloqueos entre tareas, manteniendo operativos todos los procesos a lo largo del camino. Apache Airflow proporciona un entorno único y personalizable para la construcción y gestión de canalizaciones de datos, eliminando la necesidad de una mezcolanza de herramientas, código de copo de nieve y procesos de cosecha propia. Con ejemplos y escenarios reales, Data Pipelines with Apache Airflow le enseña a simplificar y automatizar los data pipelines, reducir la sobrecarga operativa e integrar sin problemas todas las tecnologías de su pila.

La compra del libro impreso incluye un libro electrónico gratuito en formato PDF, Kindle y ePub de Manning Publications.

Acerca de la tecnología

Las canalizaciones de datos gestionan el flujo de datos desde la recopilación inicial hasta la consolidación, limpieza, análisis, visualización y mucho más. Apache Airflow proporciona una plataforma única que puede utilizar para diseñar, implementar, supervisar y mantener sus canalizaciones. Su interfaz de usuario fácil de usar, las opciones plug-and-play y la flexibilidad de las secuencias de comandos de Python hacen que Airflow sea perfecto para cualquier tarea de gestión de datos.

Acerca del libro

Data Pipelines with Apache Airflow le enseña a crear y mantener canalizaciones de datos eficaces. Explorará los patrones de uso más comunes, incluida la agregación de múltiples fuentes de datos, la conexión a y desde lagos de datos y la implementación en la nube. Parte referencia y parte tutorial, esta guía práctica cubre todos los aspectos de los grafos acíclicos dirigidos (DAG) que impulsan Airflow, y cómo personalizarlos para las necesidades de su canalización.

Contenido

Cree, pruebe e implemente canalizaciones Airflow como DAG.

Automatice el movimiento y la transformación de datos.

Analizar conjuntos de datos históricos mediante backfilling.

Desarrollar componentes personalizados.

Configurar Airflow en entornos de producción.

Acerca del lector

Para DevOps, ingenieros de datos, ingenieros de aprendizaje automático y administradores de sistemas con conocimientos intermedios de Python.

Sobre el autor

Bas Harenslak y Julian de Ruiter son ingenieros de datos con amplia experiencia en el uso de Airflow para desarrollar pipelines para grandes empresas. Bas es también committer de Airflow.

Índice

PARTE 1 - PRIMEROS PASOS.

1 Conozca Apache Airflow.

2 Anatomía de un DAG Airflow.

3 Programación en Airflow.

4 Planificar tareas usando el contexto de Airflow.

5 Definición de dependencias entre tareas.

PARTE 2 - MÁS ALLÁ DE LO BÁSICO.

6 Activación de flujos de trabajo.

7 Comunicación con sistemas externos.

8 Construcción de componentes personalizados.

9 Pruebas.

10 Ejecución de tareas en contenedores.

PARTE 3 - AIRFLOW EN LA PRÁCTICA.

11 Buenas prácticas.

12 Funcionamiento de Airflow en producción.

13 Protección de Airflow.

14 Proyecto: Encontrar la forma más rápida de desplazarse por Nueva York.

PARTE 4 - EN LAS NUBES.

15 Airflow en las nubes.

16 Airflow en AWS.

17 Airflow en Azure.

18 Airflow en GCP.