Hinton Neural Networks课程笔记3c：学习逻辑斯蒂回归

这节可以看做反向传播（BP）算法在逻辑斯蒂回归（logistic regression）中的应用。

---

为了进一步拓展BP算法的应用，从线性神经元拓展到了非线性神经元。这里选取了最简单的非线性神经元：逻辑斯蒂输出神经元（logistic output neuron）。损失函数同样选用简单的误差平方和。

逻辑斯蒂神经元（logistic neuron）

如上图所示，该神经元只是在线性神经元的输出后面加上一个逻辑斯蒂函数。（这个函数可以有来源与意义的，这里只是因为其简单、实数域输出、平滑、有界、易于求导）

求导

根据链式法则∂E∂wi=∂E∂y∂y∂z∂z∂wi。
先求∂z∂wi：

再求∂y∂z

最后汇总：