批量大小为 1 的实例规范化

Question

我真的对 Instance Norm 的含义以及我是否可以将它与批量大小 1 一起使用感到困惑。我正在使用 PyTorch，文档中没有任何内容表明批量大小应该大于 1。

我知道，对于 BatchNorm，当批量大小小于 8 时，性能会受到不利影响，因此它对批量大小设置了一种软约束。但是，我没有看到任何关于 Instance Norm 的分析，现在有点困惑。如果我的批量大小为 1，我应该删除规范层吗？

Answer 1

Group Normalization paper 中显示了对不同规范的一个很好的概述。

实例归一化总结为：

[...] IN 沿 (H, W) 轴为每个样本和每个通道计算 µ 和 σ。

均值和标准差仅在空间维度 (H, W) 上计算，并且与批量大小和通道无关（有 N x C 个不同的范数）。因此，您可以将它与 1 的批量大小一起使用。