深度学习模型设计
非线性特征
线性的特征空间是有限的，很难表示非线性的分布，变化越大越明显。而非线性特征学习在于很难学到特征，使其表现更好。
线性投影+非线性**函数
尝试把线性特征拉到非线性空间，更深的网络描述更丰富的特征。
相比于传统分类
综上三点说明深度学习较比于传统分类效果较好。
模型设计
越深,越宽
设计怎么样的深度宽度的网络效果更好。
多分枝
一般来说，多分枝比单分支要好，但多分枝运行在低功耗的硬件上，运行要慢。
残差
保证学到的error更好的回传。
慎用**函数
更多的非线性让数据分布更加的分散，拉到边缘无法聚集。
稀疏连接
达到一定的平衡，稀疏要素不会让模型变差，在速度上有很大的帮助。