AWS EMR 上的 Airflow Livy 作业订阅

Question

我们正在使用 Airflow 在 EMR 上安排我们的作业，目前我们想使用 apache Livy 通过 Airflow 提交 Spark 作业 我需要以下更多指导： 我们应该将哪个 Airflow-Livy 运算符用于 python 3+ pyspark 和 scala 作业。 我在下面看到： https://github.com/rssanders3/airflow-spark-operator-plugin 和 https://github.com/panovvv/airflow-livy-operators

想了解更多关于稳定的 AirflowLivy 运营商的任何人在生产中使用的可能在 AWS 堆栈中。

还有用于集成的分步安装指南。

Answer 1

我建议使用来自https://github.com/apache/airflow/blob/master/airflow/providers/apache/livy/operators/livy.py的 LivyOperator

目前，它仅在 Master 中可用，但您可以复制粘贴代码并将其用作自定义运算符，直到我们为 Airflow 1.10.* 系列支持所有新运算符