【发布时间】：2019-01-03 14:43:39
【问题描述】：
我刚刚学习使用 TensorFlow 的 tf.data API，我发现它大大降低了我的代码速度，以每个 epoch 的时间来衡量。这与它应该做的相反，我想。我写了一个简单的线性回归程序来测试它。
Tl;Dr：使用 100,000 个训练数据，tf.data 将每个 epoch 的时间减慢大约 10 倍，如果您使用的是完整的批量训练。如果您使用较小的批次，情况会更糟。 500 个训练数据则相反。
我的问题：这是怎么回事？我的实施有缺陷吗？我读过的其他来源有 tf.data 将速度提高了大约 30%。
import tensorflow as tf
import numpy as np
import timeit
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
tf.logging.set_verbosity(tf.logging.ERROR)
n_epochs = 10
input_dimensions_list = [10]
def function_to_approximate(x):
return np.dot(x, random_covector).astype(np.float32) + np.float32(.01) * np.random.randn(1,1).astype(np.float32)
def regress_without_tfData(n_epochs, input_dimension, training_inputs, training_labels):
tf.reset_default_graph()
weights = tf.get_variable("weights", initializer=np.random.randn(input_dimension, 1).astype(np.float32))
X = tf.placeholder(tf.float32, shape=(None, input_dimension), name='X')
Y = tf.placeholder(tf.float32, shape=(None, 1), name='Y')
prediction = tf.matmul(X,weights)
loss = tf.reduce_mean(tf.square(tf.subtract(prediction, Y)))
loss_op = tf.train.AdamOptimizer(.01).minimize(loss)
init = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init)
for _ in range(n_epochs):
sess.run(loss_op, feed_dict={X: training_inputs, Y:training_labels})
def regress_with_tfData(n_epochs, input_dimension, training_inputs, training_labels, batch_size):
tf.reset_default_graph()
weights = tf.get_variable("weights", initializer=np.random.randn(input_dimension, 1).astype(np.float32))
X,Y = data_set.make_one_shot_iterator().get_next()
prediction = tf.matmul(X, weights)
loss = tf.reduce_mean(tf.square(tf.subtract(prediction, Y)))
loss_op = tf.train.AdamOptimizer(.01).minimize(loss)
init = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init)
while True:
try:
sess.run(loss_op)
except tf.errors.OutOfRangeError:
break
for input_dimension in input_dimensions_list:
for data_size in [500, 100000]:
training_inputs = np.random.randn(data_size, input_dimension).astype(np.float32)
random_covector = np.random.randint(-5, 5, size=(input_dimension, 1))
training_labels = function_to_approximate(training_inputs)
print("Not using tf.data, with data size "
"{}, input dimension {} and training with "
"a full batch, it took an average of "
"{} seconds to run {} epochs.\n".
format(
data_size,
input_dimension,
timeit.timeit(
lambda: regress_without_tfData(
n_epochs, input_dimension,
training_inputs, training_labels
),
number=3
),
n_epochs))
for input_dimension in input_dimensions_list:
for data_size, batch_size in [(500, 50), (500, 500), (100000, 50), (100000, 100000)]:
training_inputs = np.random.randn(data_size, input_dimension).astype(np.float32)
random_covector = np.random.randint(-5, 5, size=(input_dimension, 1))
training_labels = function_to_approximate(training_inputs)
data_set = tf.data.Dataset.from_tensor_slices((training_inputs, training_labels))
data_set = data_set.repeat(n_epochs)
data_set = data_set.batch(batch_size)
print("Using tf.data, with data size "
"{}, and input dimension {}, and training with "
"batch size {}, it took an average of {} seconds "
"to run {} epochs.\n".
format(
data_size,
input_dimension,
batch_size,
timeit.timeit(
lambda: regress_with_tfData(
n_epochs, input_dimension,
training_inputs, training_labels,
batch_size
),
number=3
)/3,
n_epochs
))
这为我输出：
不使用tf.data，数据大小500，输入维度10，训练 一个完整的批次，平均需要 0.20243382899980134 秒 运行 10 个 epoch。
不使用 tf.data，数据大小 100000，输入维度 10 和 全批次训练，平均耗时 0.2431719040000644 运行 10 个 epoch 的秒数。
使用 tf.data，数据大小为 500，输入维度为 10，以及 批量大小为 50 的训练，平均需要 0.09512088866661846 运行 10 个 epoch 的秒数。
使用 tf.data，数据大小为 500，输入维度为 10，以及 批量大小为 500 的训练，平均需要 0.07286913600000844 秒运行 10 个 epoch。
使用 tf.data，数据大小为 100000，输入维度为 10，以及 批量大小为 50 的训练，平均需要 4.421892363666605 运行 10 个 epoch 的秒数。
使用 tf.data，数据大小为 100000，输入维度为 10，以及 批量大小为 100000 的训练，平均需要 2.2555197536667038 秒运行 10 个 epoch。
编辑：修复了 Fred Guth 指出的一个重要问题。不过对结果影响不大。
【问题讨论】：
-
为什么每次通话都定义数据集？
标签： python python-3.x tensorflow machine-learning deep-learning