变压器模型中的 dff 参数是什么？

Question

在论文中，它描述了基本模型的网络配置如下：

d_model:  embedding size
h: attention head count
d_k: key matrix dimension
d_v: value matrix dimension
dff: 2048?

什么是 dff？

Answer 1

根据this论文，dff是前馈向上投影尺寸。