《深度学习的数学》二刷总结

最近在配合花书看台大李宏毅的DeepLearning课程，其中遇到了Gradient Descent（梯度下降）的知识，感觉不是很熟练。想到之前老师给买过一本日本涌井良幸的《深度学习的数学》，其中对这部分讲解的比较浅显易懂，于是打算二刷一遍这本书，并借助MarginNote将书中重点标记总结。

此篇博文将记录所有的总结，二刷完成之后，再将知识进行分章放置，暂时先按照自己二刷时间排序。

关于《深度学习的数学》，喜欢此本书的同学可以评论私信我邮箱，给你们分享。因为上传资源显示有重复的，就不再上传了。

目录

• 第 1 章 神经网络的思想
  • 1-1 神经网络和深度学习
  • 1-2 神经元工作的数学表示
  • 1-3 **函数:将神经元的工作一般化
  • 1-4 什么是神经网络
  • 1-5 用恶魔来讲解神经网络的结构
  • 1-6 将恶魔的工作翻译为神经网络的语言
  • 1-7 网络自学习的神经网络
• 第 2 章 神经网络的数学基础
  • 2-1 神经网络所需的函数
  • 2-2 有助于理解神经网络的数列和递推关系式
  • 2-3 神经网络中经常用到的$∑$∑符号
  • 2-4 有助于理解神经网络的向量基础
  • 2-5 有助于理解神经网络的矩阵基础
  • 2-6 神经网络的导数基础
  • 2-7 神经网络的偏导数基础
  • 2-8 误差反向传播法必需的链式法则
  • 2-9 梯度下降法的基础:多变量函数的近似公式
  • 2-10 梯度下降法的含义与公式
  • 2-11 用 Excel 体验梯度下降法
  • 2-12 最优化问题和回归分析
• 第 3 章 神经网络的最优化
  • 3-1 神经网络的参数和变量
  • 3-2 神经网络的变量的关系式
  • 3-3 学习数据和正解
  • 3-4 神经网络的代价函数
  • 3-5 用 Excel 体验神经网络

书中Excel示例文件

本书中使用的 Excel 示例文件可以从以下网址下载。
http://www.ituring.com.cn/book/2593

注意

• 本书基于Excel 2013执笔,不保证示例文件可在其他版本上正常运行。
• 示例文件的内容可能会变更。
• 读者可以随意变更或改良示例文件的内容,但我们不提供支持。

20200219

activation function**函数
$y=a(w_1x_1+w_2x_2+w_3x_3+b)$y=a(w1​x1​+w2​x2​+w3​x3​+b)

**函数的代表性例子是$Sigmoid$Sigmoid函数$\sigma(z)$σ(z)，其定义如下。
$\sigma(z) =\frac{1}{(1+e^{-z})} \quad (e=2.718281...)$σ(z)=(1+e−z)1​(e=2.718281...)

加权输入$z$z：
$z=w_1x_1+w_2x_2+w_3x_3+b$z=w1​x1​+w2​x2​+w3​x3​+b