结合两个嵌入输入以提高 LSTM 模型的性能答案

【问题标题】：Combine two embeddding inputs to increase more performance in LSTM model结合两个嵌入输入以提高 LSTM 模型的性能
【发布时间】：2018-09-19 08:26:08
【问题描述】：

我在这里遇到的情况是我有两个输入（例如，图像嵌入等）进入一系列 lstm 的第一个 lstm 以预测下一个单词以生成句子（从第二个 lstm 开始，它开始从当前输入词预测下一个词）。两个输入中的每一个的维度都是 512。仅对于第一个输入，它就会将测量值（例如，困惑度）从根本没有这个输入增加大约 3。仅对于第二个输入，它就会将测量值（例如，困惑度）从根本没有输入增加大约 1。问题是：是否有可能将这两个输入组合成一个模型，可以产生增加超过 3 或前两个输入模型增加量更大的结果？如果是，如何构建模型或者我应该构建什么模型来将它们组合起来？

【问题讨论】：

标签： lstm

【解决方案1】：

您可以将两个输入连接为 1 以获得大小为 1024 的输入并稍微增加 lstm 大小 - 这样您的 NN 应该能够从两个输入中提取信息并可能构建两者的组合！

【讨论】：