只有在另一个管道完成谷歌数据流后才执行管道

Question

我想在 google 数据流上运行一个依赖于另一个管道输出的管道。现在我只是在本地使用 DirectRunner 运行两个管道：

with beam.Pipeline(options=pipeline_options) as p:
    (p
     | beam.io.ReadFromText(known_args.input)
     | SomeTransform()
     | beam.io.WriteToText('temp'))

with beam.Pipeline(options=pipeline_options) as p:
    (p
     | beam.io.ReadFromText('temp*')
     | AnotherTransform()
     | beam.io.WriteToText(known_args.output))

我的问题如下：

• DataflowRunner 是否保证仅在第一个管道完成后才启动第二个？
• 是否有首选的方法来依次运行两条管道？
• 还有没有推荐的方法将这些管道分成不同的文件以便更好地测试它们？

Answer 1

DataflowRunner 是否保证第二个仅在第一个管道完成后才启动？

不，Dataflow 只是执行一个管道。它没有管理依赖管道执行的功能。

更新：为了澄清，Apache Beam 确实提供了一种等待管道完成执行的机制。请参阅PipelineResult 类的waitUntilFinish() 方法。参考：PipelineResult.waitUntilFinish()。

有没有首选的方法来依次运行两条管道？

考虑使用 Apache Airflow 之类的工具来管理相关管道。您甚至可以实现一个简单的 bash 脚本来在另一个管道完成后部署一个管道。

还有没有推荐的方法将这些管道分成不同的文件以便更好地测试它们？

是的，单独的文件。这只是很好的代码组织，不一定更适合测试。