是否有允许我微调和提示文本完成的 GPT-2 实现？答案

【问题标题】：Is there a GPT-2 implementation that allows me to fine-tune and prompt for text completion?是否有允许我微调和提示文本完成的 GPT-2 实现？
【发布时间】：2020-05-13 14:52:27
【问题描述】：

我希望在一些文本数据上微调 GPT-2 实现。然后我想用这个模型来完成一个文本提示。使用 Max Woolf 的 gpt-2-simple 实现，我可以轻松完成第一部分。而 OpenAI 的 Neil Shepherd's fork 允许 GPT-2 接受新数据的训练并完成文本。

但是，我的语料库太小，无法进行训练，也无法返回乱码。有什么办法可以结合这两个功能吗？理想情况下，我希望能够通过 python 接口（而不是 CLI）来执行此操作，因为我想使用 pandas 进行数据清理和你有什么。谢谢。

【问题讨论】：

标签： python-3.x deep-learning nlp openai-gym gpt-2

【解决方案1】：

Huggingface's Transformers 包具有用于 PyTorch 和 TensorFlow 的 GPT-2 实现（包括预训练模型）。您可以在 Python 中轻松使用它们。

但是，GPT-2 的微调需要大量内存，我不确定您是否能够对此进行完整的反向传播。在这种情况下，您只需微调几个最高层。

【讨论】：

太好了，谢谢。我查看了 Higgingface 存储库，它确实提供了 GPT-2。但是——也许我只是昏昏沉沉——我看不到任何微调 GPT-2 的功能，即使它只是最高层？
加载后，它的行为就像任何其他 PyTorch 模型一样。你定义了一个损失函数，一个优化器（你需要告诉它你需要优化哪些参数）。没有特定于 GPT 的内容，只是简单的 PyTorch。