【发布时间】:2021-12-13 11:41:16
【问题描述】:
我有两种类型的作业:Spark Batch 作业和 Spark 流作业。
我想用气流来安排和管理它们。
用于作业的气流已停止。但我想将它用于我的流媒体工作。谁能给我一些想法或其他工具来完成我的流媒体工作
【问题讨论】:
标签: apache-spark airflow airflow-scheduler spark-streaming-kafka airflow-2.x
我有两种类型的作业:Spark Batch 作业和 Spark 流作业。
我想用气流来安排和管理它们。
用于作业的气流已停止。但我想将它用于我的流媒体工作。谁能给我一些想法或其他工具来完成我的流媒体工作
【问题讨论】:
标签: apache-spark airflow airflow-scheduler spark-streaming-kafka airflow-2.x
批处理作业 - 包括 spark 可以通过气流调度程序进行调度。
流媒体作业 - 从技术上讲是的 - 没有什么能阻止你。但是,对 Spark 流作业执行相同的操作没有任何意义,因为这些作业是长时间运行的作业,最好通过其他工具执行它们。
【讨论】: