Contextual Word Embeddings
**

Pre-ELMo and ELMO

Contextual Word Embeddings
**详细的过程如图所示:
Contextual Word Embeddings
Contextual Word Embeddings
**

ULMfit and onward

对于模型的处理,UML采用了如下三步:

1.首先,在一个非常大的数据集(和任务数据集不相关)上训练一个LM模型。
2.接着,使用任务相关的数据集,对模型进行fine-tune(进行训练,在前一个模型的基础上对参数进行微调)
3.使用classifier任务继续fine-tune
**

相关文章: