gpt3微调openai不学习

Question

对于我的微调 jsonl 文件，我想要一个可以根据陈述预测说话者性别的模型。比如提示：“我今天去买裙子”的补全是“女”。

我创建了几个示例并将其交给 gpt3 进行微调。然后我将“我去商店接我妻子”这句话输入到生成的模型中。我希望得到性别作为回应，但我得到了一个关于从商店接我妻子的完整故事。

就好像 gpt-3 根本没有从我的微调中学到任何东西。

我有几个问题：

1. 微调是否等同于在 openai playground 中编写几个示例并让 gpt-3 猜测接下来会发生什么？

2. 微调后，是否只在后续运行提示/完成时支付代币？因此，如果我花费 100 美元在一百万个示例上训练一个模型，那么我只需要为后续调用的个别提示/完成付费？

3. 例如，聊天机器人在 2 个聊天参与者来回交流之前带有上下文句子。比如“这是一个名叫约翰的粗鲁男人和一个名叫莎拉的年轻女孩之间的对话”。我如何将这样的上下文合并到 {"prompt":"...","completion":..."} 的微调结构中？

Answer 1

1. Open AI Fine Tuning 是在新数据集上使用预训练模型来提高模型在新数据集上的性能的过程。有一个特定的提示是非常重要的，这样微调模型就可以准确地知道你在训练什么。

2. 确切地说，微调的好处是您不必每次都用信息提示标准模型。而且，它当然提高了您特定用例的性能。

3. 例如，你可以在粗鲁的约翰和一个名叫莎拉的年轻女孩之间的整个长时间对话中训练它。但是，请记住您希望人工智能成为哪个“人”。

   粗鲁的约翰“AI”：Lorem Ipsum 莎拉：Lorem Ipsum训练长对话

   但你也想训练 Rude John 'AI' 与他人交谈。