Adam 优化器在与权重衰减一起使用时存在缺陷。 2018年提出了AdamW优化器。
在 MXNet 框架（python 实现）中实现 AdamW 有什么标准方法吗？有mxnet.optimizer.Adam 类，但没有mxnet.optimizer.AdamW 一个（签入mxnet-cu102==1.6.0、mxnet==1.5.0 包版本）。
附言我问过这个问题on MXNet forum 和on datascience.stackexchange.com，但无济于事。
【问题讨论】：
标签： deep-learning mxnet mxnet-gluon
简短的回答：目前还没有在 Gluon 中使用 AdamW 的标准方法，但是在这个方向上有一些现有的工作可以使其相对容易添加。
更长的答案：
人们一直在要求这个功能 - 很多 :) 见：https://github.com/apache/incubator-mxnet/issues/9182
Gluon-NLP 有一个可用的 AdamW 版本 - 可能与原始论文中的版本略有不同：https://github.com/eric-haibin-lin/gluon-nlp/blob/df63e2c2a4d6b998289c25a38ffec8f4ff647ff4/src/gluonnlp/optimizer/bert_adam.py
adamw_update() 运算符已随此拉取请求添加：https://github.com/apache/incubator-mxnet/pull/13728 这是在 MXNet 1.6.0 中首次发布的。
不幸的是，目前似乎没有办法直接将其与gluon.Trainer 一起使用，无需复制/修改BERTAdam 代码（或从头开始编写类似的代码）。这将是一个非常好的添加到 Gluon 的东西。
如果您可以使用它，请告诉我，因为我也希望能够使用它。
【讨论】：