如何在 tensorflow 中构建基于字符的 seq2seq 模型答案

【问题标题】：How to construct a character based seq2seq model in tensorflow如何在 tensorflow 中构建基于字符的 seq2seq 模型
【发布时间】：2016-02-22 09:59:16
【问题描述】：

需要对 tensorflow 中现有的 seq2seq 模型进行哪些更改，以便我可以在 seq2seq 任务中使用字符单元而不是现有的单词单元？这对于预测性 ext 应用程序来说是一个很好的配置吗？

此任务可能需要修改以下函数签名：

def embedding_rnn_seq2seq(encoder_inputs, decoder_inputs, cell,
                          num_encoder_symbols, num_decoder_symbols,
                          output_projection=None, feed_previous=False,
                          dtype=dtypes.float32, scope=None):

除了减少输入输出词汇之外，实现这样的字符级 seq2seq 模型还需要更改哪些其他参数？

【问题讨论】：

标签： machine-learning neural-network tensorflow recurrent-neural-network

【解决方案1】：

如果您通过空格分隔训练示例来准备输入数据文件，我认为您可以在 tensorflow 中使用现有的 seq2seq 模型，而无需对基于字符的单元进行任何代码更改：

The quick brown fox.

变成：

T h e _SPACE_ q u i c k _SPACE_ b r o w n _SPACE_ f o x .

那么你的词汇自然会变成字符而不是单词。

您可以试验词汇大小、嵌入大小、消除嵌入层等，看看哪种方法最适合您的数据。

【讨论】：