有趣,作者强调了Padding方式是通过

  • “context [SEP] response [SEP] [PAD]”

但是在inference的时候,有时候会没有标准答案的response
所以我只能将context放入并且padding进行实验。作者仍然强调了在训练过程中与这个的区别。有意思,但是区别是 response是一个decoding过程,在作为标准的过程中,当然是可以作为decoder的标准输入继续进行输入或者进行校验的。

也许我可以使用empty input进行SEP呢?可是作者也强调了自己也没有好的方法进行处理。这是一个需要去研究的问题!
DialoGPT12-10 issue记录

相关文章:

  • 2022-01-16
  • 2018-12-03
  • 2021-11-30
  • 2021-11-21
  • 2021-05-07
  • 2022-01-13
  • 2021-11-07
  • 2021-09-25
猜你喜欢
  • 2022-12-23
  • 2021-11-07
  • 2022-12-23
  • 2022-12-23
  • 2021-06-25
  • 2021-08-04
  • 2021-05-17
相关资源
相似解决方案