是否可以在 google colab 中训练变压器模型？ （不是 gpt2）

Question

我知道gpt2是基于transformer架构的，但是源代码在哪里，资源有限，也没有关于如何编写的教程.. 我是 NLP 的新手，如果我必须生成小说，那么在多部小说上训练变形金刚还是一部？

Answer 1

我认为训练 GPT 和其他转换器的最佳方法是使用库 https://huggingface.co/docs/transformers。他们还有一门课程可以帮助您熟悉该主题：https://huggingface.co/course/

是的，Transformer 模型如果不是太大，可以在 Colab 上进行训练。

是的，可以训练类似 GPT 的模型来生成小说，但只能生成短篇小说（比如几段），因为几乎所有此类模型都只能处理有限长度的文本。