1. 为什么要**函数？
由于神经网络的正向传播是通过线性组合实现的，导致神经网络是一个线性的模型。
将神经网络的输出，输入到非线性的**函数里，使得整个神经网络不再是线性的，
可以处理非线性的问题。
P69：
2. 常用的**函数有哪些？
P70：
3. 交叉熵的作用？
判断输出向量和期望向量的接近程度，刻画了两个概率分布的距离。
P74：
4. Softmax**函数的特点？与Sigmoid**函数的区别？
Softmax将神经网络的输出变成概率分布。
P75：
5. 回归问题，使用什么损失函数？
均方差
P77：
6. 为什么要分批处理？
P83：
7. 怎样避免过拟合？
P87：
8. 什么是滑动平均模型？
通过控制衰减率来控制参数更新前后之间的差距，从而达到减缓参数的变化值
（如，参数更新前是5，更新后的值是4，通过滑动平均模型之后，参数的值会在4到5之间），
如果参数更新前后的值保持不变，通过滑动平均模型之后，参数的值仍然保持不变。
P90：
9.