Apache Beam 中的多线程：在单独的线程中读取文件

Question

我们需要创建单独的线程来读取多个文件。

1. 线程 1 可以读取文件 1 并创建 PCollection<String>。我可以在多线程环境中执行Pardo Operation。并从PCollection< String > 创建一个PCollection < String,String >？
2. 线程 2 并从线程 1 完成相同的操作，但在不同的文件 File 2 上。
3. 在线程 1 和线程 2 操作完成后，在主线程中加入 File1 和 File 2 的输出。

能否请您告诉这是否可行，这是一种推荐的方法？

Answer 1

听起来你想要的东西可以用 Beam 完成。在 Beam 模型中，您没有定义如何您希望您的操作运行，而是定义您希望执行的什么操作；然后是 Beam，底层运行器负责管理线程。

这就是为什么您通常不应该管理自己的线程来读取 Beam 中的文件。您应该使用TextIO 从纯文本文件中读取，TextIO 模块应该并行读取文件。

在某些情况下，您的文件将无法被并行读取：

1. 您的文件已压缩。这意味着文件需要同时解压和读取，并且可以同时从不同的偏移量读取。
2. 您的文件太多（1000 个）。如果您有数千或数万个文件，您可能希望使用 TextIO.readAll 而不是正常的 TextIO 实现，因为跟踪正在并行读取的数千个文件可能会使系统不堪重负。

如果您使用的是非纯文本文件或其他类型的源，请告诉我。