【发布时间】:2018-01-25 23:14:02
【问题描述】:
想知道是否存在某种“挂钩”来放置一段代码,该代码将在 apache 光束管道关闭时执行(无论出于何种原因 - 崩溃,取消)
每次 Dataflow 停止时,我都需要删除对 pubsub 主题的订阅。
【问题讨论】:
标签: google-cloud-dataflow apache-beam
想知道是否存在某种“挂钩”来放置一段代码,该代码将在 apache 光束管道关闭时执行(无论出于何种原因 - 崩溃,取消)
每次 Dataflow 停止时,我都需要删除对 pubsub 主题的订阅。
【问题讨论】:
标签: google-cloud-dataflow apache-beam
Apache Beam 自然不适合这种流程。为此,您可能需要查看编排引擎,例如 Apache Airflow。
使用 Airflow,您应该能够安排任何类型的脚本在 Beam 管道完成/失败/被取消等之后运行。看看吧!
【讨论】:
有一些等待管道完成并确实在ExampleUtils class in the examples folder in the apache/beam repository here 中管理 Pubsub 主题/订阅的示例。看看在 waitUntilFinish 和 tearDown 方法中有什么可以使用的。
这是 java 代码 - 不确定这是否是您使用的语言。
(从长远来看,@Pablo 建议将其与管道代码进一步分开可能是最好的 - 也许取决于您在这里的确切目标。)
【讨论】: