核心思想：借鉴多任务，将文本标签作为输入的一部分（放在开头）控制文本生成。
文本生成最大的问题是难以对其进行控制，本文发布了一个 1.6 billion 参数的条件 transformer language model，训练能够 govern 风格、内容、特定任务行为等的控制代码。控制代码来自与原始文本共现的结构，保留了无监督学习的优点，同时提供对文本生成更明确的控制。
控制模型生成部分，CTRL加入了条件c，即文章的控制信息如类型，在计算概率的同时考虑条件c。具体操作是在每一个序列的具体内容前加了入类型描述，使得在计算Attention的训练过程中，类型与序列中的所有元素建立联系。
模型结构和gpt类似，没有大的改变，只是改变了生成
paper note: https://zhuanlan.zhihu.com/p/101347111