Apache Airflow 数据编排实战

数据管道通过整合、清理、分析、可视化等方式来管理初始收集的数据流。Apache Airflow提供了一个统一的平台，可以使用它设计、实施、监控和维护数据的流动。Airflow具有易于使用的UI、即插即用的选项以及灵活的Python脚本，这些都使Airflow能够非常轻松地完成任何数据管理任务。

在《Apache Airflow 数据编排实战》中，介绍了如何构建和维护有效的数据管道。与你一同探索最常见的使用模式，包括聚合多个数据源、连接到数据湖以及云端部署。可以将本书作为Airflow的实用指南，本书涵盖了为Airflow提供动力的有向无环图(DAG)的各方面知识，以及如何根据工作需求对其进行自定义的技术。

主要内容

●构建、测试及部署Airflow管道作为DAG

●自动对数据进行移动和转换

●使用回填技术分析历史数据集

●开发自定义组件

●...

数据管道通过整合、清理、分析、可视化等方式来管理初始收集的数据流。Apache Airflow提供了一个统一的平台，可以使用它设计、实施、监控和维护数据的流动。Airflow具有易于使用的UI、即插即用的选项以及灵活的Python脚本，这些都使Airflow能够非常轻松地完成任何数据管理任务。

在《Apache Airflow 数据编排实战》中，介绍了如何构建和维护有效的数据管道。与你一同探索最常见的使用模式，包括聚合多个数据源、连接到数据湖以及云端部署。可以将本书作为Airflow的实用指南，本书涵盖了为Airflow提供动力的有向无环图(DAG)的各方面知识，以及如何根据工作需求对其进行自定义的技术。

主要内容

●构建、测试及部署Airflow管道作为DAG

●自动对数据进行移动和转换

●使用回填技术分析历史数据集

●开发自定义组件

●在生产环境中搭建Airflow

读者对象

本书面向具有一定Python编程基础的程序员、DevOps工程师、数据工程师、机器学习工程师及系统管理员。

Bas Harenslak和Julian de Ruiter是数据工程师，他们在为大公司开发数据管道方面拥有丰富的经验。同时，Bas也是一位Airflow的提交者。