批量训练但在 Tensorflow 中测试单个数据项？答案

【问题标题】：Training in batches but testing individual data item in Tensorflow?批量训练但在 Tensorflow 中测试单个数据项？
【发布时间】：2018-03-07 21:46:38
【问题描述】：

我已经训练了一个批量大小为 10 的卷积神经网络。但是在测试时，我想分别而不是批量预测每个数据集的分类，这会产生错误：

Assign requires shapes of both tensors to match. lhs shape= [1,3] rhs shape= [10,3]

我知道 10 是指batch_size，3 是我要分类的类别数。

我们不能使用批量训练和单独测试吗？

更新：

训练阶段：

batch_size=10
classes=3
#vlimit is some constant : same for training and testing phase
X = tf.placeholder(tf.float32, [batch_size,vlimit ], name='X_placeholder')
Y = tf.placeholder(tf.int32, [batch_size, classes], name='Y_placeholder')
w = tf.Variable(tf.random_normal(shape=[vlimit, classes], stddev=0.01), name='weights')
b = tf.Variable(tf.ones([batch_size,classes]), name="bias")
logits = tf.matmul(X, w) + b
entropy = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=Y, name='loss')
loss = tf.reduce_mean(entropy)
optimizer = tf.train.AdamOptimizer(learning_rate).minimize(loss)

测试阶段：

batch_size=1
classes=3
X = tf.placeholder(tf.float32, [batch_size,vlimit ], name='X_placeholder')
Y = tf.placeholder(tf.int32, [batch_size, classes], name='Y_placeholder')
w = tf.Variable(tf.random_normal(shape=[vlimit, classes], stddev=0.01), name='weights')
b = tf.Variable(tf.ones([batch_size,classes]), name="bias")
logits = tf.matmul(X, w) + b
entropy = tf.nn.softmax_cross_entropy_with_logits(logits=logits, labels=Y, name='loss')
loss = tf.reduce_mean(entropy)
optimizer = tf.train.AdamOptimizer(learning_rate).minimize(loss)

【问题讨论】：

我相信这应该是可能的。您可以添加示例代码来显示您定义的占位符（lhs、rhs）或变量等吗？
更新了问题！！！
两个阶段是同一个 Tensorflow 图的一部分吗？
我保存网络，然后在测试阶段将其恢复到单独的文件中。
正如@Engineero 提到的，尝试使用vlimit 而不是batch_size 代替b。最后一个代码点 - 改用logits = tf.add( tf.matmul(X, w) , b)。 + 是一个基本的 python 运算符，会更慢！

标签： python machine-learning tensorflow neural-network conv-neural-network

【解决方案1】：

定义占位符时，请使用：

X = tf.placeholder(tf.float32, [None, vlimit ], name='X_placeholder')
Y = tf.placeholder(tf.int32, [None, classes], name='Y_placeholder')
...

而不是用于您的训练和测试阶段（实际上，您不需要为测试阶段重新定义这些）。还将您的偏见定义为：

b = tf.Variable(tf.ones([classes]), name="bias")

否则，您正在为批次中的每个样本训练单独的偏差，这不是您想要的。

TensorFlow 应自动沿输入的第一个维度展开，并将其识别为批量大小，因此对于训练，您可以向其提供 10 个批次，而对于测试，您可以向其提供单个样本（或 100 个批次或其他） .

【讨论】：

【解决方案2】：

当然。占位符是从您的输入中获取数据的“桶”。他们唯一做的就是将数据直接导入您的模型。它们可以像使用 None 技巧的“无限存储桶”一样运行 - 您可以根据需要将尽可能多（或尽可能少）的数据放入其中（显然取决于可用资源）。

在训练中，尝试将batch_size 替换为None 作为训练占位符：

X = tf.placeholder(tf.float32, [None, vlimit ], name='X_placeholder')
Y = tf.placeholder(tf.int32, [None, classes], name='Y_placeholder')

然后像以前一样定义您拥有的所有其他内容。

然后做一些训练操作，例如：

 _, Tr_loss, Tr_acc = sess.run([optimizer, loss, accuracy], feed_dict{x: btc_x, y: btc_y})

为了测试，重复使用这些相同的占位符 (X,Y) 并且不要费心重新定义其他变量。

对于单个 Tensorflow 图定义，所有 Tensorflow 变量都是静态的。如果您要恢复模型，则占位符从训练时开始仍然存在。其他变量也一样，例如w,b,logits,entropy & optimizer.

然后做一些测试操作，例如：

 Ts_loss, Ts_acc = sess.run( [loss, accuracy], feed_dict{ x: test_x , y: test_y } )

【讨论】：