1. Goal

用GAN来对dialogue system建模,从而减少safe response(e.g. “我不知道”, “我也是”)。

2. Contribution

提出了一个AEL (Approximate Embedding Layer )来解决seq2seq模型decode阶段由于sampling导致的不可微问题(non-differentiable problem)。

3. Model

本文使用基本模型是条件GAN,为了方便陈述,以每一轮对话(i.e., query, response)为单位进行建模,模型图如下:

Neural Response Generation via GAN with an Approximate Embedding Layer

Generator的输入是query,输出是response;
Discriminator的输入时query和response,对于real response,输出1,对于fake response输出0;

AEL是核心模块,以第i个time step为例,通过全连接层+softmax,将h_i向量变成在vocabulary上的概率分布向量,然后与之对应词向量进行加权求和得到w_i的估计。

4. Tricks

训练技巧:1. 使用传统的seq2seq Model预训练G;2. 用预训练G生成的response和real response预训练D;3.对抗训练,训练几轮G之后再训练D,迭代训练,直到收敛。

 

相关文章:

  • 2021-05-30
  • 2021-09-06
  • 2021-04-16
  • 2021-08-26
  • 2021-12-10
  • 2021-09-03
  • 2021-10-15
猜你喜欢
  • 2021-04-05
  • 2021-07-26
  • 2021-04-09
  • 2021-10-16
  • 2022-01-05
  • 2021-06-27
相关资源
相似解决方案