Java：大查询顺序插入的数据流

【问题标题】：Java: Dataflow to bigquery sequential insertionsJava：大查询顺序插入的数据流
【发布时间】：2019-10-04 02:12:29
【问题描述】：

我想从单个数据流作业将数据插入到 2 个 Bigquery 表中。仅当数据成功插入到第一个表时，才必须执行第二个表插入。任何人都可以帮助我如何实现/检查数据是否被插入并继续进行第二个表插入

【问题讨论】：

【解决方案1】：

您应该使用Wait signals 这在下一个方式中起作用

在 Y 准备好后将 T 应用于 X

X.apply(Wait.on(Y)).apply(T)

PCollection<Void> firstWriteResults = data.apply(ParDo.of(...write to first database...));
data.apply(Wait.on(firstWriteResults))
.apply(ParDo.of(...write to second database...));

Wait.on() 可用于批处理和流式处理管道

这是另一个有用的example

【讨论】：