大总结
深度学习符号
此笔记中使用的数学符号参考自《深度学习》和 Deep learning specialization
常用的定义
- 原版符号定义中， 与 存在混用的情况，请注意识别
数据标记与上下
- 上标 代表第 个训练样本
上标 代表第 层
数据集的样本数
下标 输入数据
下标 输出数据
输入大小
输出大小 (或者类别数)
第 层的隐藏单元数
神经网络的层数
在循环中
神经网络模型
神经网络模型
代表输入的矩阵
代表第 个样本的列向量
是标记矩阵
是第 样本的输出标签
代表第 层的权重矩阵
代表第 层的偏差矩阵
是预测输出向量
也可以用 表示
正向传播方程示例
其中， 代表第 层的**函数
通用**公式
当前层的维度
上一层的维度
损失函数
或者
常见损失函数示例
深度学习图示
节点：代表输入、**或者输出
边：代表权重或者误差
提供两种等效的示意图
详细的网络
常用于神经网络的表示,为了更好的审美，我们省略了一些在边上的参数的细节(如 和等)。
简化网络
两层神经网络的更简单的表示。