1.ELMO
ELMO（Embedding from Language Model）是一种基于LSTM的词向量的生成方式，采用两个单向LSTM。词向量的表示基于当前的句子上下文，高层LSTM捕捉上下文的词特征（语义），底层LSTM捕捉句法层次信息（语法）。网络架构如下图：
其中，前向语言模型：
后向语言模型：
目标函数最大化：
优点是解决了一词多义，在一些任务上有提升。
缺点是LSTM串行，训练成本大，LSTM对长距离的提取特征不如Transformer。
2.GPT
GPT（Generative Pre-Training）是使用Transformer的Decoder部分的预训练模型，架构如下：
无监督训练：
有监督微调：
参考资料
[1]Deep contextualized word representations
[2]Improving Language Understandingby Generative Pre-Training