对于序列到序列的 Transformer 模型，应该使用什么 decoder_input_ids？

Question

我使用 HuggingFace 的 Transformers 库来构建基于 BART 和 T5 的序列到序列模型。我仔细阅读了文档和研究论文，但我找不到解码器的输入 (decoder_input_ids) 应该用于序列到序列任务。

两个模型（BART 和 T5）的解码器输入应该与 lm_labels（LM 头的输出）相同还是应该与 input_ids（编码器的输入）相同？

Answer 1

decoder_input_ids（可选）对应labels，labels是提供decoder_input_ids的首选方式。 https://huggingface.co/transformers/glossary.html#decoder-input-ids

这是因为在内部，如果 decoder_input_ids 为 None，它们将通过将标签向右移动来导出，因此您不必自己进行移动。