神经网络的表达

一、Non-linear hypotheses

Andrew Ng机器学习笔记week4、5 神经网络
n很大很大,很多很多个特征。

二、神经元模型

Andrew Ng机器学习笔记week4、5 神经网络
这里又用到了之前提到过的sigmoid函数,作为activation function

Andrew Ng机器学习笔记week4、5 神经网络

三、Forward propagation: Vectorized implementation

前向传播:向量化的实现
Andrew Ng机器学习笔记week4、5 神经网络

一个简单的神经网络的例子
Andrew Ng机器学习笔记week4、5 神经网络

四、多分类

Andrew Ng机器学习笔记week4、5 神经网络
这是一个又多个输出单元的神经网络,得到的结果是多个的(前面提到过二分类与多分类)

神经网络的学习

一、代价函数

Andrew Ng机器学习笔记week4、5 神经网络

二、Backpropagation algorithm–反向传播

这里的反向传播算法计算梯度
①梯度计算
Andrew Ng机器学习笔记week4、5 神经网络
Andrew Ng机器学习笔记week4、5 神经网络
②用反向传播算法来计算梯度
Andrew Ng机器学习笔记week4、5 神经网络
③反向传播算法
Andrew Ng机器学习笔记week4、5 神经网络

三、反向传播与正向传播

Andrew Ng机器学习笔记week4、5 神经网络
Andrew Ng机器学习笔记week4、5 神经网络

四、系数展开

①进一步优化
Andrew Ng机器学习笔记week4、5 神经网络
②举例
Andrew Ng机器学习笔记week4、5 神经网络
③学习算法
Andrew Ng机器学习笔记week4、5 神经网络

五、梯度检验

Andrew Ng机器学习笔记week4、5 神经网络
Andrew Ng机器学习笔记week4、5 神经网络

六、随机初始化

①初始化为0
Andrew Ng机器学习笔记week4、5 神经网络
②随机初始化
Andrew Ng机器学习笔记week4、5 神经网络

七、总结整理

Andrew Ng机器学习笔记week4、5 神经网络
Andrew Ng机器学习笔记week4、5 神经网络

相关文章: