使用 tensorflow 或 skflow 对输入数据进行排队

Question

我正在用一个有点慢的DataFeeder 训练一个神经网络（因为它从 h5 文件中读取非连续数据）；所以 GPU satay 有一半时间处于空闲状态（GPU-Util 为 0 %）。

有没有办法在 TensorFlow 或 skflow 中让多个 DataFeeders 并行运行，以避免这个瓶颈？

Answer 1

Tensorflow 有 reader library 可以并行（和在 C++ 中）读取和排队数据。这应该可以消除您所说的瓶颈。

我们目前（本周/下周）将其支持添加到 tf.learn（skflow 的新名称）以使其易于使用。您仍然需要将数据转换为阅读器支持的格式之一（固定长度向量、示例原型）。

如果您想自己尝试使其工作 - 您可以创建一个单独的 DataFeeder，它会在 input_builder 函数中使用阅读器库中的操作，并在 get_feed_dict_fn 中返回无操作。