【问题标题】:Google Cloud Dataflow - Apache Beam - Pipeline Shutdown HookGoogle Cloud Dataflow - Apache Beam - 管道关闭挂钩
【发布时间】:2018-01-25 23:14:02
【问题描述】:

想知道是否存在某种“挂钩”来放置一段代码,该代码将在 apache 光束管道关闭时执行(无论出于何种原因 - 崩溃,取消)

每次 Dataflow 停止时,我都需要删除对 pubsub 主题的订阅。

【问题讨论】:

    标签: google-cloud-dataflow apache-beam


    【解决方案1】:

    Apache Beam 自然不适合这种流程。为此,您可能需要查看编排引擎,例如 Apache Airflow

    使用 Airflow,您应该能够安排任何类型的脚本在 Beam 管道完成/失败/被取消等之后运行。看看吧!

    【讨论】:

      【解决方案2】:

      有一些等待管道完成并确实在ExampleUtils class in the examples folder in the apache/beam repository here 中管理 Pubsub 主题/订阅的示例。看看在 waitUntilFinish 和 tearDown 方法中有什么可以使用的。

      这是 java 代码 - 不确定这是否是您使用的语言。

      (从长远来看,@Pablo 建议将其与管道代码进一步分开可能是最好的 - 也许取决于您在这里的确切目标。)

      【讨论】:

        猜你喜欢
        • 2018-11-29
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2021-06-15
        • 2022-08-18
        • 1970-01-01
        • 2022-11-11
        相关资源
        最近更新 更多