基础版本实验:选用final hidden states, [h1, h2, |h1-h2|, h1.*h2], 以1:2构造正负例, 参考dssm(原文是1:4)

单层lstm的伪孪生网络 计算 句子的相似度
single lstm 孪生网络

 

数据是4w的pair对

训练曲线如下图:

单层lstm的伪孪生网络 计算 句子的相似度

 

最终任务测试集上的准确率(和本任务中dssm的准确率做对比), 如下图所示:

本任务lstm singe (正:负 = 1:2) 本任务lstm singe (正:负 = 1:4) 本任务lstm singe (正:负 = 1:10) 本任务lstm singe (正:负 = 1:30) 本任务Dssm(正:负 = 1:4)
top1ACC:0.811159 top1ACC:0.832618 top1ACC:0.793991 top1ACC:0.611588 top1ACC:0.802575

另外我们在本任务中的另一个测试集上也做了对比:

本任务lstm singe (正:负 = 1:4) 本任务Dssm(正:负 = 1:4)
top1ACC:0.629000 top1ACC:0.617667
  • 结论:

1. Dssm正负例比例1:4应该是多次实验的结果,正负例比例过于不均衡,会减弱准确率;

 

  • 说明:

1. 本任采用测试集均为项目中的真实数据标注测试集,具有实际说明效应。

 

  • 改进计划:

模型为初始版本,仍然还在改进中:

1. loss function: margin loss

2. 负例构造

3. lstm结构

4. NN层

相关文章:

  • 2021-08-09
  • 2021-12-06
  • 2021-12-10
  • 2022-12-23
  • 2021-08-21
  • 2022-12-23
  • 2021-07-18
猜你喜欢
  • 2022-01-28
  • 2021-12-29
  • 2021-05-18
  • 2022-12-23
  • 2022-01-24
  • 2022-12-23
  • 2021-10-22
相关资源
相似解决方案