Life-Long learning
- 忘记机制
- catastrophic forgetting
- 保护机制, 图片里的Do not forget表示没有忘记Task1所学习到东西, 也就是误差没有下降多少
- life-long, 不止task2做得好, task1还要可以继续做
Knowledge Transfer
Gradient episodic memory
当前任务的梯度更新方向(negative gradient of current task), 第二幅图的g`是旋转后的, 要尽量和原来的 g as close as possible,