【发布时间】：2021-12-28 07:50:49
【问题描述】：
直接在 Airflow 上实现 map reduce 的缺点是什么？
在为 Airflow 创建 DAG 时，我可以为 map 和 reduce 动态创建运算符。
【问题讨论】：
【发布时间】：2021-12-28 07:50:49
【问题描述】：
Airflow 目前不支持 map-reduce。
有一个 AIP（气流改进提案）来支持它。请参阅 AIP-42 Dynamic Task Mapping 它已被投票并接受但尚未实施。
您仍然可以动态创建任务和 DAG，但不能以 map-reduce 方式 见docs。
【讨论】：