8、1非线性假设

吴恩达机器学习-第八章个人笔记
如果我们用logistic回归处理这个模型的话:
假设函数如下:g( θ \theta θ0+ θ \theta θ1x1+ θ \theta θ2x2+ θ \theta θ3x1x2+ θ \theta θ4x12x2……)
一般来说,特征项会很多,此时设特征项个数为n,则此时如果仅仅考虑二次项,此时大约有n2/2个,有时甚至需要考虑三次项、四次项,会让特征空间急剧增大。所以用logstic回归并不好。

吴恩达机器学习-第八章个人笔记
上图使用简单的logistic回归,会需要3000000万个特征项。
而神经网络对处理这种非线性假设问题来说是一种更好的方法。

8、2神经元和大脑

神经网络:在上世纪八九十年代被广泛应用,在九十年代后期应用逐渐消失,最近由于计算机性能的提升,神经网路又开始被广泛应用。

8、3模型展示1

神经元:吴恩达机器学习-第八章个人笔记
神经元模型:logistic unit
吴恩达机器学习-第八章个人笔记
其中x0叫做偏置神经元,值为1,可写可不写。

神经网络:
吴恩达机器学习-第八章个人笔记
ai(j)表示第j层的第i个**项;
θ \theta θ(j)表示从j层到j+1层的权重控制函数。
吴恩达机器学习-第八章个人笔记
故上图中的 θ \theta θ(1)是个3*4的矩阵

8、4模型展示2

神经网络的向量化运算:
吴恩达机器学习-第八章个人笔记
神经网络中的逻辑回归部分:
吴恩达机器学习-第八章个人笔记
仅仅看隐藏层到输出层就是一个logistic regression.只不过特征项是经过计算得出来的值,而非原始的特征项。

8、5例子1

吴恩达机器学习-第八章个人笔记
左边模型可以看做右边模型的简化版。

逻辑与的实现:
吴恩达机器学习-第八章个人笔记
逻辑或的实现:
吴恩达机器学习-第八章个人笔记
逻辑非的实现:
吴恩达机器学习-第八章个人笔记

8、6例子2

逻辑x1XNORx2的实现:
吴恩达机器学习-第八章个人笔记

8、7多类别分类

吴恩达机器学习-第八章个人笔记
该神经网络用于识别行人、汽车、摩托车以及卡车。

相关文章: