RiR(ResNet in ResNet)

Paper : ResNet in ResNet : Generalizing Residual Architectures
Code : unofficial

摘要

作者尝试提出一种网络结构，将ResNet和普通的CNN网络统一起来，感觉意义不大。

网络结构

广义残差网络架构的模块化单元是一个并行结构的广义残差块，并行包含了一个残差通道$\text{r}$r和一个瞬变通道$\text{t}$t。残差通道采用和ResNet类似的identity shortcut connection，瞬变通道采用标准的卷积层。另外，有两组卷积核对两个通道进行交叉卷积($W_{l,\text{r}\rightarrow \text{t}}$Wl,r→t​ 和 $W_{l,\text{t} \rightarrow \text{r}}$Wl,t→r​)：

$\text{r}_{l+1}=\sigma(\text{conv}(\text{r}_{l},W_{l,\text{r} \rightarrow \text{r}}) +\text{conv}(\text{t}_{l},W_{l,\text{t} \rightarrow \text{r}}) + \text{shortcut}(\text{r}_{l})) \\ \text{t}_{l+1}=\sigma(\text{conv}(\text{r}_{l},W_{l,\text{r} \rightarrow \text{t}}) +\text{conv}(\text{t}_{l},W_{l,\text{t} \rightarrow \text{r}}))$rl+1​=σ(conv(rl​,Wl,r→r​)+conv(tl​,Wl,t→r​)+shortcut(rl​))tl+1​=σ(conv(rl​,Wl,r→t​)+conv(tl​,Wl,t→r​))

通道的使用可以保留残差单元的优化特性，$\text{t}$t通道的使用将允许前层提取的特征被去除。下面是广义残差块的框架图

从左到右分别是ResNet block，ResNet Unit，ResNet Unit 中的残差部分和RiR Block，ResNet Unit就是这篇论文中提出的统一ResNet和普通的CNN网络的模块，而RiR Module就是使用ResNet Unit 替换Conv，以ResNet Block的方式连接。

如果$\text{r}$r通道的权重为0，广义残差块就相当于一个标准的卷积层；如果$\text{t}$t通道的权重为0，广义残差块就相当于标准的残差块。通过广义残差块的堆叠，网络可以学习图1b中的各种可能的结构。新的广义残差块增强了信息处理能力。广义残差块不仅可以用于CNN，也可以用于其它类型的网络。我们总结了CNN、ResNet Init、ResNet和RiR架构之间的关系。

核心观点

1. 提出了ResNet Unit和RiR结构，前者可能有用，后者个人感觉意义不大，最后都要被Dense Net 干翻。