Dataflow 作业完成时通知 Google PubSub

Question

有没有办法在 Google Dataflow 作业完成后将消息发布到 Google Pubsub？我们需要通知依赖系统传入数据的处理已完成。 Dataflow 将数据写入 sink 后如何发布？

编辑： 我们希望在管道完成写入 GCS 后通知。我们的管道如下所示：

Pipeline.create(选项) 。申请（....） .apply(AvroIO.Write.named("写入 GCS") .withSchema(Extract.class) .to(options.getOutputPath()) .withSuffix(".avro")); p.run();

如果我们在 pipeline.apply(...) 方法之外添加逻辑，我们会在代码完成执行时收到通知，而不是在管道完成时收到通知。理想情况下，我们可以在 AvroIO 接收器之后添加另一个 .apply(...) 并将消息发布到 PubSub。

Answer 1

您有两个选项可以在管道完成时收到通知，然后发布消息 - 或者在管道完成运行后执行任何您想做的事情：

1. 使用BlockingPipelineRunner。这将运行您的管道synchronously。
2. 使用DataflowPipelineRunner。这将运行您的管道asynchronously。然后，您可以轮询管道以了解其状态，并等待其完成。