如何处理tensorflow中的大量数据？答案

【问题标题】：How to handle large amouts of data in tensorflow?如何处理tensorflow中的大量数据？
【发布时间】：2018-03-30 22:29:18
【问题描述】：

对于我的项目，我有大量数据，大约 60GB 分布在 npy 文件中，每个文件大约 1GB，每个包含大约 750k 记录和标签。

每条记录是 345 个 float32，标签是 5 个 float32。

我也阅读了 tensorflow 数据集文档和队列/线程文档，但我不知道如何最好地处理训练输入以及如何保存模型和权重以供将来预测。

我的模型非常简单，看起来像这样：

x = tf.placeholder(tf.float32, [None, 345], name='x')
y = tf.placeholder(tf.float32, [None, 5], name='y')
wi, bi = weight_and_bias(345, 2048)
hidden_fc = tf.nn.sigmoid(tf.matmul(x, wi) + bi)
wo, bo = weight_and_bias(2048, 5)
out_fc = tf.nn.sigmoid(tf.matmul(hidden_fc, wo) + bo)
loss = tf.reduce_mean(tf.squared_difference(y, out_fc))
train_op = tf.train.AdamOptimizer().minimize(loss)

我训练神经网络的方式是以随机顺序一次读取一个文件，然后使用 shuffled numpy 数组来索引每个文件，并手动创建每个批次以使用 feed_dict 提供 train_op。从我阅读的所有内容来看，这是非常低效的，我应该以某种方式将其替换为数据集或队列和线程，但正如我所说，文档没有帮助。

那么，在 tensorflow 中处理大量数据的最佳方法是什么？

另外，作为参考，我的数据在 2 个操作步骤中保存到一个 numpy 文件中：

with open('datafile1.npy', 'wb') as fp:
    np.save(data, fp)
    np.save(labels, fp)

【问题讨论】：

这可能正是您正在寻找的：Import Data (with the Dataset API)
对于大型数据集，您不应一次通过所有数据集。使用小批量来克服这个问题。但除此之外，首先不要将所有内容都带入内存。使用小批量。
Karhy，我确实阅读了数据集文档，但其中大部分似乎都假设数据已预加载到内存中。 Paramdeep，我正在使用小批量，这就是我从 numpy 文件加载数据的方式，然后我将数据打乱并手动进行小批量以提供 x 和 y 占位符。这就是我试图弄清楚如何以更有效的方式做的事情。

标签： python numpy tensorflow machine-learning bigdata

【解决方案1】：

npy 文件的实用程序确实在内存中分配了整个数组。我建议您将所有 numpy 数组转换为 TFRecords format 并在训练中使用这些文件。这是在 tensorflow 中读取大型数据集的最有效方法之一。

转换为TFRecords

def array_to_tfrecords(X, y, output_file):
  feature = {
    'X': tf.train.Feature(float_list=tf.train.FloatList(value=X.flatten())),
    'y': tf.train.Feature(float_list=tf.train.FloatList(value=y.flatten()))
  }
  example = tf.train.Example(features=tf.train.Features(feature=feature))
  serialized = example.SerializeToString()

  writer = tf.python_io.TFRecordWriter(output_file)
  writer.write(serialized)
  writer.close()

处理图像的完整示例可以是found here。

阅读TFRecordDataset

def parse_proto(example_proto):
  features = {
    'X': tf.FixedLenFeature((345,), tf.float32),
    'y': tf.FixedLenFeature((5,), tf.float32),
  }
  parsed_features = tf.parse_single_example(example_proto, features)
  return parsed_features['X'], parsed_features['y']

def read_tfrecords(file_names=("file1.tfrecord", "file2.tfrecord", "file3.tfrecord"),
                   buffer_size=10000,
                   batch_size=100):
  dataset = tf.contrib.data.TFRecordDataset(file_names)
  dataset = dataset.map(parse_proto)
  dataset = dataset.shuffle(buffer_size)
  dataset = dataset.repeat()
  dataset = dataset.batch(batch_size)
  return tf.contrib.data.Iterator.from_structure(dataset.output_types, dataset.output_shapes)

数据手册可以是found here。

【讨论】：