DL总结(二)-----------shallow neural network to deep neural network

DL总结(一)—logistic regression as a neural network

如图所示，图的上面部分其实是一个逻辑回归模型搭建的神经网络，而下面部分在其基础上增加了一个隐藏层，而对于隐藏层的每一个隐藏单位实际上都是一个计算**函数的过程，相当于在输入层到隐藏层的映射中计算了三次单个神经元模型，在隐藏层到输出层的映射中又经过了一个逻辑回归模型。
如图：

浅层的神经网络模型与逻辑回归的神经网络搭建基本类似，不过要注意参数W以及b的向量化的维度，而且为提高神经网络的训练精度，还可以选用其他的**函数，例如tanh函数（$\frac{e^{z}-e^{-z}}{e^z+e^{-z}}$ez+e−zez−e−z​）或者RcLU函数，其图像如图：

Forwardpropagation

Backwardpropagation