如何理解 tensorflow 中摘录的 MNIST 示例

Question

我正在阅读Deep MNIST for Experts 并在这里有一个问题：

在本教程中，它使用代码构建第一个卷积层：

W_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])

在构建第二个卷积层时，教程使用如下代码：

W_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])

然后说：

第二层将有每个 5x5 补丁的 64 个特征。

我不明白为什么 [5, 5, 32, 64] 的第三维是 32。

这是否意味着第二个卷积层确实与第一个卷积层的所有 32 个输出进行卷积？

但是当检查这个3D Visualization of a Convolutional Neural Network时，第二个卷积层的每个过滤器只是连接到第一个卷积层的一些输出，我曾经认为这是几个不同的低层特征的整合，并生成一些高层特征，所以呢有什么区别？

对不起，我的表情很糟糕，现在我很困惑。

谢谢！

Answer 1

卷积（至少在卷积神经网络的上下文中）通常执行depthwise，这意味着新特征图的每个单元格都是特定内核和相应部分之间的“点积”输入特征图，但使用所有可用通道。