使用`generate`方法进行推理时，如何获取T5模型的logits？

Question

我目前正在使用 HuggingFace 的 T5 实现来生成文本。更具体地说，我使用 T5ForConditionalGeneration 来解决生成的文本分类问题。

训练后模型的整体表现非常令人满意，但我想知道的是如何获得生成的logits？

我目前正在按照文档中的建议通过 model.generate(**tokenizer_outputs) 执行推理，但这只是输出 ID 本身，没有任何其他内容。

我想要 logits 的原因是因为我想衡量模型生成的信心。我不是 100% 确定我的方法是否正确，但我在想，如果我可以获得每个生成的标记的 logit 值并对其取平均值，我可以获得生成序列的总体置信度分数。

有人知道我该怎么做吗？谢谢。

Answer 1

我一直在努力解决这个问题，因为我不熟悉 Transformers 库的工作原理，但是在查看源代码之后，您所要做的就是将参数 output_scores 和 return_dict_in_generate 设置为 True。

有关更多信息，请查看方法transformers.generation_utils.GenerationMixin.generate。