如何实现 4-D 卷积核答案

【问题标题】：how to implement 4-D convolutional kernal如何实现 4-D 卷积核
【发布时间】：2016-08-30 05:08:43
【问题描述】：

prototxt文件中的卷积核只需要设置图像的高度和重量，第三维可以自动设置。

但是如何在 prototxt 文件中设置 4-D 内核？

图中

输入视频是 4-D。

the work 表示第一个卷积层的维度是 4-D。

我已经在这个问题上停留了两个星期，我有点绝望。

谁能帮帮我？

谢谢

【问题讨论】：

标签： computer-vision neural-network video-processing deep-learning caffe

【解决方案1】：

@Shai 感谢您的回复！我在数据层中使用 HDF5 fromat 进行训练。 Tha 数据存储为五个维度，顺序为 batch-channels-time-height-width。 prototxt 部分是

layer {
    name: "data"
    type: "HDF5Data"
    top: "data"
    top: "label"
    include: {
        phase: TRAIN
    }
    hdf5_data_param {
        source: "path/to/txt"
        batch_size: 50
    }
}

我得到了错误

I0520 21:39:35.705278 30447 net.cpp:84] Creating Layer conv1
I0520 21:39:35.705286 30447 net.cpp:381] conv1 <- data
I0520 21:39:35.705294 30447 net.cpp:339] conv1 -> conv1
I0520 21:39:35.705307 30447 net.cpp:113] Setting up conv1
F0520 21:39:35.705329 30447 base_conv_layer.cpp:14] Check failed: 4 == bottom[0]->num_axes() (4 vs. 5) Input must have 4 axes, corresponding to (num, channels, height, width)

看来输入的blob维度应该是4。有什么解决办法吗？

【讨论】：

【解决方案2】：

Caffe 支持超过 4 个维度的 blob。如果你想执行时间卷积，我想你需要为 caffe 提供尺寸为batch-channels-time-height-width 的 5D 输入 blob。使用这种输入，您只需更改convolution_param 中的默认axis 参数即可进行时间卷积。例如：

input: "data"
input_shape: { dim: 5 dim: 15 dim: 3 dim: 227 dim: 227 }
layer {
  name: "temporal_conv"
  type: "Convolution"
  bottom: "data"
  top: "temporal_conv"
  param { lr_mult: 1 decay_mult: 1 }
  param { lr_mult: 2 decay_mult: 0 }
  convolution_param {
    num_output: 32
    kernel_size: 3 kernel_size: 5 kernel_size: 5
    pad: 1 pad: 2 pad: 2
    stride: 1 stride: 2 stride: 2
    axis: 1
  }
}

此"temporal_conv" 层使用 3x5x5 内核（相应地填充输入）并在空间域中跨度为 2，在时间维度中跨度为 1。

【讨论】：

+1，我从来不知道我们可以有卷积的 4D 斑点。我的假设是权重应该以 3D 格式呈现，然后相应地拆分它或沿着这些线使用其他技术！