数据流：是否可以同步运行管道的一部分而异步运行其他部分？

Question

我正在设置如下所示的简单数据流管道：

Pipeline p = Pipeline.create(options);
p.apply(TextIO.Read.from("source.csv"))
.apply(ParDo.of(new TransformEachLine()))
.apply(ParDo.of(new ProcessEachTransform()));
p.run();

如何让TransformEachLine 的每次迭代等待ProcessEachTransform 的每次迭代完成相应TransformEachLine 迭代产生的所有元素？另外，如何使TransformEachLine 的每次迭代按顺序执行（如源“.csv”文件中所示）

基本上，水平缩放和随机化 ProcessEachTransform 对我来说很重要，但不是同时随机化前两个 ParDos。

现在，该管道的假设输出如下所示：

Line B
   Processed item 2
   Processed item 1
   Processed item 3
Line A
   Processed Item 3
   Processed Item 1
   Processed Item 2
Line C
   Processed Item 1
   Processed Item 3
   Processed Item 2

如何按顺序对齐“第 XX 行”，但在每个“第 XX 行”中保持“已处理项目 XX”随机和并行化？这是否意味着我必须在本地执行部分代码并将其他部分发送到 Dataflow 进行并行处理？

Answer 1

听起来您实际上需要完全按照输入文件中指定的顺序处理事物。

这不是您可以在 Beam API 中直接表达的内容：PCollection 元素的处理始终是并行且无序的 - 您需要按顺序将每个事务作为单个管道运行（尽管如果事务的数量是低 - 最多数百个 - 您可以在管道本身的结构中表达顺序，例如每个事务 1 次转换和一些接线以使转换按顺序执行 - 如果您想知道这个，请告诉我我会编辑我的答案）。

请注意，Beam 模型也不保证元素将被处理多少次（例如，在失败重试或冗余的情况下，跑步者可以多次处理一个元素） ，因此您还需要使一个事务中的项目处理也是幂等的。