从 pyspark 导入 TensorFlow 数据

Question

我想基于数百 GB 的数据创建一个预测模型。数据需要一些不密集的预处理，我可以在 pyspark 中进行，但在 tensorflow 中则不行。在我的情况下，直接将预处理的结果传递给 TF 会方便得多，理想情况下，将 pyspark 数据帧视为 TF 的虚拟输入文件，而不是将预处理的数据保存到磁盘。但是，我一点也不知道该怎么做，而且我在互联网上找不到任何地方。

---

经过一番思考，在我看来，我实际上需要一个迭代器（如 tf.data.Iterator 所定义的）来处理 spark 的数据。但是，我在网上发现 cmets 暗示了 Spark 的分布式结构使其非常困​​难，如果不是不可能的话。为什么这样？想象一下，我不关心行的顺序，为什么不能遍历 spark 数据？

Answer 1

听起来你只是想使用tf.data.Dataset.from_generator() 你定义了一个从 spark 中读取样本的 python 生成器。虽然我不太了解 spark，但我确信您可以对将运行 tensorflow 模型的服务器进行缩减。更好的是，如果您正在分发训练，您可以减少需要最终数据集的一些分片的服务器集。

import data programmers guide 更详细地涵盖了Dataset 输入管道。 tensorflow Dataset 将为您提供一个由图形直接访问的迭代器，因此无需 tf.placeholders 或在您编写的 tf.data.Dataset.from_generator() 代码之外编组数据。