QA数据集,提出了一种在ADDsent对抗生成算法上的改进算法–AddSentDiverse。同样是为了消除原先算法生成的数据中潜在的统计规律,让模型无法忽略干扰的影响。

对抗样本消统

Random Distractor Placement

不同于ADDsend将distractor放到context的文末,采用随机插入的方法可以保证在不改变原先数据的依赖分布的前提下,对模型产生干扰,让模型无法忽略distractor的存在。
论文笔记(5.12,文本抗击,sentence)--Robust Machine Comprehension Models via Adversarial Training
论文笔记(5.12,文本抗击,sentence)--Robust Machine Comprehension Models via Adversarial Training

Dynamic Fake Answer Generation

将原先ADDsent采用的每种type固定替换词的方法,改为answer中的同类词替换
论文笔记(5.12,文本抗击,sentence)--Robust Machine Comprehension Models via Adversarial Training

Semantic Feature Enhanced Model

在生成消统攻击样本的同时,提出在context/question中使用wordnet来增加同/反义词的指示符,从而让模型更好地学到问答中的情感信息。
论文笔记(5.12,文本抗击,sentence)--Robust Machine Comprehension Models via Adversarial Training

self

虽然采用了一些方法弥补了ADDsent在生成攻击样本上的缺陷,但是ADDsent这种算法生成的distractor只是简单的entity replace,这种distractor的本身也并不是一种好的选择(畸形distractor)

相关文章:

  • 2021-06-18
  • 2021-11-15
  • 2021-07-02
  • 2021-04-10
  • 2021-10-14
  • 2021-10-11
  • 2021-10-29
  • 2021-07-17
猜你喜欢
  • 2021-09-25
  • 2022-03-07
  • 2022-01-17
  • 2021-11-06
  • 2021-09-02
  • 2021-05-19
  • 2021-09-06
相关资源
相似解决方案