动手学深度学习第十三课：正向传播、反向传播和通过时间反向传播

优化器和优化算法优化的是什么？

优化的是计算损失函数是，算的那个梯度。

反向传播是存储和计算梯度的方法，而不是训练模型的方法。

训练模型是使用优化算法。

优化算法需要计算梯度，所以会使用到反向传播。

概念：

一个比较详细的过程：

正向传播先正向计算出值，反向传播再利用这些值来利用链式法则求梯度。