DSSM

模型:

DSSM

INPUT

将一个单词序列的文档 d d d转换为网络输入层的向量表示 x x x需要两个步骤:

  1. 将单词中的每个单词转换为单词向量
  2. 通过连接这些单词向量来构建

第一步:one-hot表示每一个word(N=150K)为了获得质量更高的词向量,同时映射 W W W得3-letter向量(30K)。最后链接

Convolutional Layer

window大小:3
DSSM
c是窗口大小为3的单词的上下文向量

Max-pooling Layer

DSSM

Fully-Connected Layers

DSSM

训练

DSSM参数:DSSM
L L L O O O S S S S S S:pair-wise rank loss(文档对(s,t1)(s,t2))

s表示源文档,t1和t2表示候选文档,构建相对于s,t1比t2相关
分数计算:
DSSM
优化目标:最大化sim(s,t1)-sim(s,t2)
使用逻辑LOSS
DSSM
∆为sim(s,t1)-sim(s,t2)

实验采用mini-batch :(256(source-target)对)。从batch随机选4个作为源文档的负样本

实体查询

通过从流量加权的Web文档集中随机抽样一组文档来构造第二个任务的评估数据集。在第二步中,使用内部命名实体识别器来标识每个文档中的实体名称。向商业搜索引擎发出每个实体名称作为查询,并保留最多100个检索到的文档作为候选目标文档。为每个实体形成一个源文档,它由一个200字的窗口定义的实体文本及其周围的文本组成。
最终评估数据集包含10000个源文档。平均而言,每个源文档与87个目标文档相关联。最后,源文档-目标文档对由付费注释器根据兴趣进行标记。标签的级别为5级,从0到4。

DSSM

相关文章:

  • 2021-09-21
  • 2021-12-17
  • 2022-01-13
  • 2021-11-02
  • 2021-10-02
  • 2021-08-23
猜你喜欢
  • 2021-05-01
  • 2021-08-16
  • 2021-09-09
  • 2022-01-09
  • 2021-11-03
  • 2021-09-16
  • 2021-05-30
相关资源
相似解决方案