ELMO的每层计算中,通过一个正向RNN得到每个词的embedding,再通过一个反向的RNN得到每个词的embedding,再将同一个词的两个embedding进行contact,因此每个词在不同的上下文中,词向量就不同了。

 

ELMO

ELMO实际上是一个多层的组合,假设一个两层的ELMO计算后,每个词会得到两个embedding,那么ELMO会使用两个权重相乘再累加的方式求到最后该字的embedding。

ELMO

那么α1和α2如何获取呢?

这两者是在任务中作为参数一并学习得到的(类似于一种weight)

ELMO

需要注意的是,不同层的task需要抽取的ELMO不同层的embedding值,例如下图,SQuAD只需要第一层embedding结果即可,这样就不需要设置α这个值。

相关文章:

  • 2021-11-02
  • 2021-11-21
  • 2021-12-05
  • 2021-06-16
  • 2021-06-19
  • 2021-08-20
  • 2021-06-19
猜你喜欢
  • 2022-01-01
  • 2021-07-31
  • 2022-12-23
  • 2021-07-01
  • 2021-10-12
  • 2021-04-09
相关资源
相似解决方案