soft attention/hard attention

soft attention输出注意力分布的概率值,hard attention 输出onehot向量,  soft的优势> hard

知识蒸馏(knowledge distill)和迁移学习

soft和hard的理解

soft和hard的理解

 

 

 

相关文章:

  • 2021-08-03
  • 2021-08-21
  • 2021-05-03
  • 2021-12-19
  • 2022-12-23
  • 2021-12-28
  • 2021-07-09
  • 2022-01-16
猜你喜欢
  • 2021-04-08
  • 2022-03-03
  • 2021-09-04
  • 2021-12-06
  • 2022-01-02
相关资源
相似解决方案