气流：将信息传递给下一个任务（传感器）答案

【问题标题】：Airflow: Pass information to next task (sensor)气流：将信息传递给下一个任务（传感器）
【发布时间】：2017-06-04 21:59:27
【问题描述】：

（我知道this question，但它已经够老了，我现在要问的是希望有更新的答案。）

我正在为 AWS Batch for Airflow 编写一个插件，在通过 AWSBatchOperator 运算符将作业提交给 Batch 后，我需要一种方法来等待作业完成并通知 Airflow。我正在为此编写一个传感器，因为它似乎是处理它的适当方式。

但是，当AWSBatchOperator 在 AWS Batch 中创建作业时，它需要将该作业 ID 提交给传感器，以便传感器知道要检查的作业。是否有任何简单的方法可以将信息从已完成的任务传递到其依赖任务？我知道 XCom，但考虑到这种情况的简单性以及我认为这是传感器的常见问题，它似乎有点矫枉过正。

谢谢！

【问题讨论】：

标签： python airflow aws-batch

【解决方案1】：

如果您将信息从一个任务传递到下一个 XCOM 是唯一的方法（我在 Airflow 中知道）。或者除非先前的任务写入某个外部系统（消息队列、kafka 缓冲区、s3 存储桶等），并且后续步骤（传感器）检查该外部值以被触发。

【讨论】：

【解决方案2】：

您可以将作业 ID 放入 SQS 队列和 trigger a AWS lambda function。 lambda函数可以依次trigger各自的DAG任务

【讨论】：