用于向量到字符序列转换的 LSTM答案

【问题标题】：LSTM for vector to character sequence translation用于向量到字符序列转换的 LSTM
【发布时间】：2017-11-22 06:31:24
【问题描述】：

我正在寻找构建一个序列到序列模型，该模型接受一个 2048 长的 1 和 0 向量（例如 [1,0,1,0,0,1,0,0,0, 1,...,1] ）作为我的输入并将其转换为我已知的（可变长度）1-20 个长字符（例如 GBNMIRN、ILCEQZG 或 FPSRABBRF）的输出。

我的目标是创建一个模型，该模型可以接收一个新的 2048 长的 1 和 0 向量，并预测输出序列的样子。

我查看了一些 github 存储库，例如 this 和 this。

但我不确定如何解决我的问题。是否有任何项目做过与此类似的事情/我如何使用目前的 seq2seq 模型或 LSTM 来实现它？（python 实现）

我在 python 中使用 keras 库。

【问题讨论】：

【解决方案1】：

您的输入很奇怪，因为它是二进制代码。不知道这个模型会不会好用。

首先，您需要为输入和输出添加指示边界的开始和结束标记。然后设计每个时间步的区域模块，包括如何使用隐藏状态。您可以尝试如下简单的 GRU/LSTM 网络。

详情可以试试Encoder

和解码器

另外，你可以看看论文Neural Machine Translation by Jointly Learning to Align and Translate中的注意机制。结构如下。

详情

虽然您使用的是 Keras，但我认为阅读 PyTorch 代码会有所帮助，因为它简单易懂。 PyTorch tutorial中给出的教程

【讨论】：