复杂数据管道迁移计划问题

Question

我的计划：

1. 将所有数据处理移至 Spark（最好是 PySpark），最终输出（面向消费者）数据仅用于 Redshift。 Spark 似乎可以很好地连接到所有各种来源（Dynamo DB、S3、Redshift）。根据客户需要输出到 Redshift/S3 等。这避免了拥有多个 Redshift 集群、损坏/过度使用内部不受支持的 ETL 工具、跨集群、视图和表等复制相同数据（这是当前设置）。
2. 使用 Luigi 构建 Web UI 以每天监控管道并可视化依赖关系树，并安排 ETL。电子邮件通知也应该是失败的选项。另一种选择是 AWS 数据管道，但是，Luigi 似乎有更好的 UI 来处理涉及许多依赖项的情况（有些树有 5 层深，但也许这也可以通过更好的 Spark 代码来避免）。

问题：

1. Luigi 是否与 Spark 集成（我之前只使用过 PySpark，没有使用过 Luigi，所以这对我来说是一个学习曲线）。计划是安排“应用程序”，我相信 Spark 实际上也有 ETL，所以不确定 Luigi 是如何在这里集成的？
2. 如何解释某些管道可能是“实时的”这一事实 - 例如，我是否需要每小时启动 Spark / EMR 作业？

我也愿意接受想法/建议/更好的方法！

Answer 1

直接回答您的问题，

1) 是的，Luigi 确实可以很好地与 PySpark 配合使用，就像任何其他库一样。我们当然可以毫无问题地运行它——唯一需要注意的是，您必须对imports 小心一点，并将它们放在 Luigi 类的函数中，因为它在后台启动了新的 Python 实例。

2) 有一些方法可以让 Luigi 啜饮数据流，但很难做到。实际上，您会退回到每小时运行一个 cron 周期来调用管道和进程以及新数据。这反映了 Spotify 对 Luigi 的用例，他们在其中运行日常工作以计算顶级艺术家等。

正如@RonD 建议的那样，如果我现在正在构建新管道，我会跳过 Luigi 并直接使用 AirFlow。如果不出意外，请查看发布历史记录。 Luigi 很长一段时间都没有真正进行过重要的工作（因为它适用于主要开发人员）。而 AirFlow 正在被 Apache 积极孵化。

Answer 2

使用 Apache Airflow 代替 Luigi 进行工作流编排（代码是用 Python 编写的）。它内置了许多运算符和挂钩，您可以在其中调用 DAG（工作流）。例如创建任务来调用操作员来启动 EMR 集群，另一个来运行位于集群上 s3 中的 PySpark 脚本，另一个来监视运行状态。您也可以使用任务来设置依赖项等。