AlexNet
网络架构：
包含8层，其中五个卷积层与三个全连接层。并且在第二层、第三层以及第五层后使用overlap的max pooling。第一层的卷积核为11*11*3步长为4，一共96个核。第二层为256个5*5*96第三层为384个3*3*256第四层为384个3*3*384第五层为256个3*3*384。后面紧跟4096、4096、4096三个全连接层输出为1000个类别。
trick:
1.使用relu**函数
基于ReLU的深度卷积网络比基于tanh和sigmoid的网络训练快数倍，并且很好的降低了梯度消失的可能性
2.局部反应标准化（Local Response Normalization）
实现局部神经元竞争，局部内响应较大的神经元变得更大并抑制反应小的神经元，提升泛化能力。
3.重叠的最大池化
相对于不重叠的最大池化，重叠的最大池化能够保留更多的特征，提升特征丰富性。
4.数据增强
目前训练的标配，不用多说。
5.dropout
同理，不需要多说
可改进的空间：
1.第一个卷积层使用的是11*11的滤波器，导致无法提取更细粒度的特征，是否可以使用更多更小的滤波器来代替第一个卷积层。
2.LRN在往后的算法中效果不是很大，所以用的人并不多。