有趣,作者强调了Padding方式是通过
- “context [SEP] response [SEP] [PAD]”
但是在inference的时候,有时候会没有标准答案的response
所以我只能将context放入并且padding进行实验。作者仍然强调了在训练过程中与这个的区别。有意思,但是区别是 response是一个decoding过程,在作为标准的过程中,当然是可以作为decoder的标准输入继续进行输入或者进行校验的。
也许我可以使用empty input进行SEP呢?可是作者也强调了自己也没有好的方法进行处理。这是一个需要去研究的问题!