带有单词输入的基于 CNN 的回归答案

【问题标题】：CNN based regression with words input带有单词输入的基于 CNN 的回归
【发布时间】：2020-06-01 04:10:30
【问题描述】：

我成功地训练了一个带有回归输出层的 CNN 来预测图像的数字指标。此外，我想将每个图像的描述编码到 CNN 中以获得更好的回归性能。

我的数据是 512 x 512 的一系列 X 射线图像。每张图像都有一个描述，记录图像是如何拍摄的。比如图片#1的描述是

Voltage: 40V
Current: 2A
Shuttle speed: 1 sec
Filter material: rhodium

图片#2的描述是

Voltage: 38V
Current: 1.7A
Shuttle speed: 0.7 sec
Filter material: tungsten

其他图像的描述非常相似，只是参数不同。

我的问题是：如何将这些描述编码到 CNN 中？

【问题讨论】：

【解决方案1】：

如果您只有几十个可能的属性值，我建议为每个属性值对学习嵌入并将它们与 CNN 输出连接起来，并可能在其上添加一个隐藏层，以便文本和图像功能之间可以进行更多交互。

如果文本的结构不太好，我会使用 RNN 处理文本（即，对文本进行标记，嵌入标记，将它们输入 RNN 并获取最终状态）。这将为您提供文本描述的单个向量，您可以再次将其连接到 CNN 输出。

【讨论】：