Utilizing BERT Intermediate Layers for Aspect Based Sentiment Analysis and Natural Language Inference

原文地址:https://arxiv.org/pdf/2002.04815.pdf

文中提到,bert的微调都是在bert结构后添加额外的输出层,忽略了中间层包含的语义知识,而每一层都能捕获到不同层次的表示。
设计了LSTM和Attention两种池化策略来整合每层的[CLS]token表示。
阅读分享:Utilizing BERT Intermediate Layers for ABSA and NLI
Experiment :
在ABSA任务上:
阅读分享:Utilizing BERT Intermediate Layers for ABSA and NLI
在NLI任务上:
阅读分享:Utilizing BERT Intermediate Layers for ABSA and NLI

相关文章:

  • 2021-07-29
  • 2021-09-10
  • 2021-06-24
  • 2022-12-23
  • 2022-12-23
  • 2021-09-22
  • 2021-06-08
  • 2021-10-22
猜你喜欢
  • 2021-09-09
  • 2021-10-03
  • 2021-05-14
  • 2021-07-16
  • 2021-10-07
  • 2021-04-11
  • 2021-08-13
相关资源
相似解决方案