【发布时间】:2020-09-01 16:43:21
【问题描述】:
我想知道是否可以在其他语言中重用 gpt-3,在这种情况下为西班牙语。
我是否需要专门使用西班牙语语料库训练的 gpt-3 模型,还是可以使用迁移学习来生成西班牙语文本?
【问题讨论】:
我想知道是否可以在其他语言中重用 gpt-3,在这种情况下为西班牙语。
我是否需要专门使用西班牙语语料库训练的 gpt-3 模型,还是可以使用迁移学习来生成西班牙语文本?
【问题讨论】:
GPT-3 仅通过 API 提供,并且仅适用于 apply for the access 的人。该模型太大,无法在任何合理的硬件上本地运行,因此很难进行微调。
鉴于 GPT-3 的机器翻译效果如何,我的猜测是默认情况下它对西班牙语的效果相当好。但是,如果您的任务是文本分类,则在使用预训练的类 BERT 模型时可以做得更好,Hugginface's Transformers 已经有几个 models for Spanish。
【讨论】: