一文读懂自动微分（ AutoDiff）原理

整理自《Hands On ML——Appendix D》，略有改动，如有不解请参考原文（感觉原文也多少有点问题）。

1. Manual Differentiation

2. Symbolic Differentiation（符号微分）

3. Numerical Differentiation（数值微分）

4. Forward-Mode Autodiff（前向自动微分）

5. Reverse-mode Autodiff（反向自动微分）