highway network 2015年的文章了，由于最近收到了推送，才去详细了解了一下，特意在此做个笔记。
highway network的思想很简单，作者受LSTM的启发，在普通的网络上加了两个门而已(一个叫 Transform gate，另一个叫Carry gate)。Highway network可以有效缓解层数特别深的网络在优化时出现的梯度消失问题，可以对1000多层的网络进行有效的优化。
1. 普通网络
其中，x是输入，y是输出，是权重，H是线性变换函数后接**函数。
2. highway neywork
T 是 Transform gate，C是Carry gate。通常情况下，C可以用T表示，即，那么：
T是一个数值范围是0~1的sigmoid函数：
极端情况下：
当T=0，输入x直接被传给输出y,这就是highway network的由来；
当T=1，就是一个普通的网路节点；