【问题标题】:Can I use Airflow to start/stop spark streaming job [closed]我可以使用 Airflow 启动/停止火花流作业吗?
【发布时间】:2021-12-13 11:41:16
【问题描述】:

我有两种类型的作业:Spark Ba​​tch 作业和 Spark 流作业。

我想用气流来安排和管理它们。

用于作业的气流已停止。但我想将它用于我的流媒体工作。谁能给我一些想法或其他工具来完成我的流媒体工作

【问题讨论】:

    标签: apache-spark airflow airflow-scheduler spark-streaming-kafka airflow-2.x


    【解决方案1】:

    批处理作业 - 包括 spark 可以通过气流调度程序进行调度。

    流媒体作业 - 从技术上讲是的 - 没有什么能阻止你。但是,对 Spark 流作业执行相同的操作没有任何意义,因为这些作业是长时间运行的作业,最好通过其他工具执行它们。

    【讨论】:

    • 感谢您的回答。你能告诉我一些流媒体工作的工具吗
    猜你喜欢
    • 2015-12-11
    • 2020-05-29
    • 1970-01-01
    • 2015-10-19
    • 1970-01-01
    • 2020-03-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多