(1)问题

深度学习圈子里一直出现了一些“怪象”,就是堆数据,让模型更复杂,训练出来的效果更好!

之前的BERT,XLNet为什么效果好? 这绝对离不开模型本身的复杂度,一个模型拥有上百亿的参数,效果不好就太对不起我们的资源了。

(2)解决

ALBERT试图解决上述的问题: 1. 让模型的参数更少 2. 使用更少的内存 3. 提升模型的效果。

 

 

 

 

 

参考:

https://zhuanlan.zhihu.com/p/84559048

https://blog.csdn.net/chaojianmo/article/details/104061718/

相关文章:

  • 2021-04-24
  • 2021-05-10
  • 2021-06-25
  • 2021-09-20
  • 2022-01-09
  • 2021-11-08
  • 2021-10-23
  • 2021-06-13
猜你喜欢
  • 2022-12-23
  • 2021-08-11
  • 2021-09-06
  • 2021-07-30
  • 2021-08-03
  • 2021-05-06
  • 2021-04-14
相关资源
相似解决方案