参考链接:https://zhuanlan.zhihu.com/p/47282410

在attention机制中有三种向量:Value vector(V,值向量),Key vector(K,键值向量),Query vector(Q,问题向量),self-attention中V和Q相同,都是自身,即建立输入的序列中每个元素和其他元素的关系(长度均为1),获得全局信息(Q、K、V来自于同一个目标)。在问答系统中,则Q来自于Question,V表示上下文,上下文的K和Q相乘再映射到V上进行解码(K、V来自于上下文,Q来自于question,不是来自于同一个目标)

相关文章:

  • 2021-05-28
  • 2022-12-23
  • 2022-01-13
  • 2021-12-03
  • 2021-11-29
  • 2021-04-26
  • 2021-10-11
  • 2021-09-05
猜你喜欢
  • 2021-06-10
  • 2021-04-15
  • 2022-12-23
  • 2022-12-23
  • 2021-05-24
  • 2021-12-01
相关资源
相似解决方案