如何检索 PCollection 的内容并将其分配给普通变量？答案

【问题标题】：How to retrieve the content of a PCollection and assign it to a normal variable?如何检索 PCollection 的内容并将其分配给普通变量？
【发布时间】：2018-02-07 16:27:32
【问题描述】：

我正在使用带有 Python SDK 的 Apache-Beam。

目前，我的管道读取多个文件，解析它们并从其数据中生成 pandas 数据帧。然后，它将它们组合成一个单个数据框。

我现在想要的是检索这个单一的胖数据帧，将它分配给一个普通的 Python 变量。

可以吗？

【问题讨论】：

您不能直接将结果返回到变量中，如果您不想将结果保存到文件或数据库中，可以使用 Pub/Sub。

标签： python apache-beam

【解决方案1】：

PCollection 只是执行图中的一个逻辑节点，其内容不一定实际存储在任何地方，因此不能直接这样做。

但是，您可以要求您的管道将PCollection 写入文件（例如将元素转换为字符串并将WriteToText 与num_shards=1 一起使用），运行管道并等待它完成，然后读取主程序中的文件。

【讨论】：