课程背景
image.png
image.png
image.png
什么是神经网络
image.png
image.png
图像语音密集矩阵
文本稀疏矩阵
课程安排
image.png
网络结构
image.png
eg 在图中四个隐含层，一个输出层
从x到y 一个预测的过程
更深的网络比更宽的网络在计算上节省，当深度层增加，每一层增加一个解，见微知著，不断剖析，对应神经网络的深度增长。
每一个神经元的设计体现非线性分析
对每一个神经元
image.png
这是一个神经元结点的结构
第一部分：对输入线性组合
第二部分：进行非线性处理 g（z）对线性组合转化成非线性的结果
逻辑回归
最小的结构单元：每个神经元节点独立具有判断问题的能力，该结点本身是一个逻辑回归的模型
对单独一个神经元
image.png
同样可以进行机器学习的过程，左侧输入，右侧输出（预测值），通过W和B这两个参数对x进行线性化，通过激励函数的到预测值
激励函数
image.png
image.png
模拟神经元被激发的状态变化（非线性），对大脑中的传递递质的动作模拟
常用神经元
image.png
RELU简单常用，是首选
损失函数
评价学习y值与预期y值
image.png
梯度下降
通过渐进性方式调整整个函数的形态or performance
zhidao
调整参数为W b 找到合理组合使得机器学习得到的y值与现实中监督的真正y值一致，从而指导预测结果
image.png
根据运算结果预测值x0在凸的部分进行数学处理。。。。
（：=代表同步更新）
在进行运算，指导w.b趋向稳定值
网络向量化
传播过程
image.png
输入到隐含层，四个隐含层生成一个输出值，即训练得到的y值
image.png
image.png
写成对应的矩阵表达式
image.png
把这种简单模型进行推广
对比较大的神经网络
得到层与层之间的关系
y
网络梯度下降
*对神经元的参数的调教（反向传播）
通过运算结果逆向调整wb参数
向前传播的规则
image.png
对每一层
image.png
训练过程
image.png
eg。简单神经网络
image.png
再进行运算，再更新。
反复这两个训练过程
image.png
按层计算，算好后更新
总结
image.png