CRelu

一句话说明：作者通过对Alexnet浅层卷积核参数的观察，发现了很多高度负相关的卷积核，于是猜测浅层卷积核是正负成对出现的，这就意味着通过这一对卷积核产生的feature map也是正负成对出现的，其实完全可以通过使用其中一个卷积核的featureMap取负得到对称的featureMap，于是作者构造了一个CRelu即Concatenated Relu来完成这个功能。具体实现：将featureMap取反过后再concat在一起，再通过一个relu。