更改 3D 卷积中输入图像的顺序答案

【问题标题】：Changing order of Input Image in 3D convolutions更改 3D 卷积中输入图像的顺序
【发布时间】：2021-04-28 00:24:32
【问题描述】：

根据tf.keras.layers.Conv3D的官方文档

5+D 张量，形状为：batch_shape + (channels, conv_dim1, conv_dim2, conv_dim3) 如果 data_format='channels_first' 或具有形状的 5+D 张量： batch_shape + (conv_dim1, conv_dim2, conv_dim3, 通道) 如果 data_format='channels_last'

。现在关于通道和批处理形状的整个想法是有道理的，但是将 (conv_dim1, conv_dim2,conv_dim2) 的一般顺序更改为 (x,y,z) 以说 (z,x,y) 会影响性能。

Conv3D 是否担心 x-y-z 维度的顺序？

我正在训练一个 U-net 分割模型，并且在更改轴的顺序后，我看到了性能差异。 (x,y,z) 阶的收敛速度比 (y,x,z) 快。

我只是想确定什么是正确的方法..

【问题讨论】：

这是一个有趣的效果。你的图像和内核是各向同性的吗？您观察到了哪些性能差异？
是的，他们是。我正在使用 BRATS 2020 数据集。我观察到与 (x,y,z) 模型相比，(z,x,y) 图像的损失更高。我的内核和池大小在所有方向上都是相同的，因此这些操作不应影响输出。我跑了10个epoch，效果还是一样。
@Darkrider 你的增强也是各向同性的吗？

标签： tensorflow keras deep-learning conv-neural-network image-segmentation

【解决方案1】：

虽然您的数据似乎是各向同性的，但可能并非如此¹：

提供的数据在预处理后分发，即共同注册到相同的解剖模板，内插到相同的分辨率 (1 mm^3) 并剥去颅骨。

可能是基础源数据不是各向同性的，而您看到的是插值的效果（某些维度比其他维度“更平滑”）。

您是否考虑过利用这种“各向同性”属性并使用由

提出的“跨维度”增强

Liad Pollak Zuckerman、Eyal Naor、George Pisha、Shai Bagon、Michal IraniAcross Scales & Across Dimensions: Temporal Super-Resolution using Deep Internal Learning（ECCV 2020）。

【讨论】：