要求 gpt-2 用拥抱脸变压器完成句子答案

【问题标题】：Asking gpt-2 to finish sentence with huggingface transformers要求 gpt-2 用拥抱脸变压器完成句子
【发布时间】：2020-07-22 02:55:16
【问题描述】：

我目前正在使用带有 gpt-2 的拥抱脸转换器库的示例脚本 run_generation.py 从左侧上下文生成文本：

$ python transformers/examples/run_generation.py \
  --model_type gpt2 \
  --model_name_or_path gpt2 \
  --prompt "Hi, " --length 5

=== GENERATED SEQUENCE 1 ===
Hi,  could anyone please inform me

我想生成简短的完整句子。有什么办法可以告诉模型在length 单词之前完成一个句子吗？

注意：我不介意更改模型，但更喜欢自回归模型。

【问题讨论】：

我不介意改变模型，但更喜欢自回归模型。
避免将其他内容作为评论发布：改为更新问题。
我正在尝试使用StoppingCriteria 提前停止。有运气的人吗？

标签： nlp pytorch huggingface-transformers gpt-2

【解决方案1】：

不幸的是，没有办法这样做。您可以将length 参数设置为更大的值，然后在最后丢弃不完整的部分。

即使 GPT3 也不支持在特定 length 之前完成一个句子。 GPT3 支持“序列”。当满足特定条件时，序列会强制模型停止。您可以在 thi article 中找到更多信息

【讨论】：