疫情期间，重新阅读了语言模型相关的论文，从RNN时代到XLNet，结合看得网络博文和视频，简单总结为如下一张图：
模型分为AE(AutoEncoder)类，如Transformer，BERT等，AR类(AutoRegression)类，如基于RNN、LSTM或其变种（ELMO）等，这种分类方式是XLNET中的分类方法，可以参考该论文。下面引用Recurrent.ai联合创始人杨植麟大神讲座中的PPT图片，个人觉得对NLP的发展有着很深刻的理解：
相关文章：
相似解决方案
热门标签