GPT-J 和 GPT-Neo 生成的句子太长答案

【问题标题】：GPT-J and GPT-Neo generate too long sentencesGPT-J 和 GPT-Neo 生成的句子太长
【发布时间】：2022-12-07 05:51:55
【问题描述】：

我在我的文本上训练了 GPT-J 和 GPT-Neo 模型（微调）并尝试生成新文本。但是句子通常很长（有时每个 300 个字符），尽管在数据集中句子的长度是正常的（通常是 50-100 个字符）。我尝试了很多东西，改变了，调整了温度，top_k，但仍然有一半的结果是长短语，我需要更短。

你能尝试什么？

以下是生成结果的长示例：

他们建立的支持系统使我们作为用户能够不是代码程序员或 IT 管理员我们自己的定制解决方案，无需太多编程经验我们自己从零开始！

它所需要的只是关于您的库存流程的文件，但是我发现他们很有帮助，因为他们确保你做的每件事都是正确的最大效率，因为他们的知识库不断提醒我自升级我的以来，我可以通过新的方式做一些错误的事情许可所以即使它善于发现文档错误就像审计员可能会在以后提出下线，其他人可能会受益如果升级更新一年后这些文件不再存在自动地！

【问题讨论】：

标签： text artificial-intelligence gpt-2 fine-tune

【解决方案1】：

对于所有 GPT 模型，您可以在生成期间指定“max_length”参数。这将强制模型生成一定数量的标记等于 max_length。您还可以使用 num_return_sequences 并使用辅助函数来选择最短序列。

例子：

output = model.generate(input_ids, do_sample=True, top_k=50, max_length=100, top_p=0.95, num_return_sequences=1)

这些大型语言模型接受了大量数据的训练，并且在它们学会适应您提供的数据时对其进行微调需要耐心。尝试不同的东西——调整你的训练数据格式，尝试不同的样本，在生成过程中使用预提示来指导模型，等等。像 GPT-J 这样的模型会进行大量的计算，只是为了吐出一个单一的词，所以很难预测到底是什么导致它说一件事而不是另一件事。

【讨论】：