李宏毅深度学习笔记08---Bert、ELMO、GPT

1.词向量回顾

 

2.Bert、ELMO、GPT引出

每一个词有多个意思

 

 

 

(1)ELMO(Embedding from language model)

(2)Bert(Bidirectional Encoder Representations from Transformer)

BERT就是transformer 的encoder

BERT要做的就是给定一个句子，输出一组embedding

注意：训练bert时，用中文的字而非词，应该是最合适的。

<1>训练bert的方式