张量流中全连接网络的输出

Question

weights = {

# 5x5 conv, 1 input, 32 outputs

'wc1': tf.Variable(tf.random_normal([5, 5, 1, 32])),
`# 5x5 conv, 32 inputs, 64 outputs`

'wc2': tf.Variable(tf.random_normal([5, 5, 32, 64])), 

# fully connected, 7*7*64 inputs, 1024 outputs
'wd1': tf.Variable(tf.random_normal([7*7*64, 1024])), 
 # 1024 inputs, 10 outputs (class prediction)



'out': tf.Variable(tf.random_normal([1024, n_classes])) 


}

在此代码中，全连接层的输出为 1024，但我无法理解此“1024”是从哪个计算生成的，并且我无法从 tensorflow 文档中找到任何令人满意的答案。以及此输出大小如何影响预测结果. 提前致谢。

Answer 1

在这种情况下，1024 是全连接/隐藏层的维度。 wd1 有一个到 1024 的扇出，然后返回到 10 个输出类。因此，正如深度学习中经常发生的那样，1024 不是计算的结果，而是一个超参数。

Answer 2

像 1024 这样的数字通常有些经验性，具体取决于数据和目标。

总的来说，我认为这个问题的影响太多，无法简明扼要地回答。我将在问题的受限和假设上下文中回答：卷积网络。您描述的那种网络通常具有比目标类数更多的节点的隐藏层（这是一个分类器，对吗？）。

在您的情况下，最后一个隐藏层有 1024 个节点，比 10 个输出类多。是必须的号码吗？这取决于您的数据量、多样性等。如果没有上下文和目标，这个数字并没有多大意义。

我们通常可以确信的至少：数字高于输出类。这样做，网络能够存储“大量”特征来描述类。然后输出层将这些特征作为输入，并计算组合到预期的类数。