CNN 特征的后期融合

Question

我正在研究 CNN 特征的早期和晚期融合。我从多层 CNN 中提取了特征。对于早期的融合，我已经捕获了三个不同层的特征，然后将它们水平连接F= [F1' F2' F3']; 对于晚期融合，我正在阅读这个paper。他们提到过两次进行监督学习。但看不懂路。

例如，这是从上述论文中拍摄的图像。 第一个图像具有三个不同的特征，对于第一个监督学习，标签可以说是 4 类图像集中的 1 个。例如，输出为 [1 1 3]。可以说第三个分类器的结果错误。 那么我的问题是多模态特征连接就像 [1 1 3] 与标签 1 让我们说类 1 图像？

Answer 1

• 我可能对此有误，但这是我的理解（我不确定我的答案）
• 假设您有 2 个类和 3 个不同的模型
• 所以每个模型都会输出一个 (2 x 1) 的向量

• 例如

  Model-1 : [[0.3], [0.7]]
  模型 2：[[0.2]，[0.8]]
  模型 2：[[0.6]，[0.4]]

• 现在您将连接（多模态特征组合）结果如下：
  [0.3, 0.2, 0.6, 0.7, 0.8, 0.4]

• 上述特征向量将作为最终监督学习器的输入，如图中所述，概念分数作为监督学习器的输入

• 在论文中，他们提到如下：
  我们将视觉向量 vi 与文本向量 ti 连接起来。
  经过特征归一化，我们得到了早期融合向量ei。
  然后 ei 作为 SVM 的输入。

• 现在来说说这个模型的实现

• 我要做的是首先单独训练 Model-1，单独训练 Model-2，单独训练 Model-3
• 现在我将冻结 Model-1、Model-2、Model-3 的权重并提取分数并将它们组合成如上所述的特征向量，并将其传递给最终的监督学习器并对其进行训练
• 将三个 Unimodal Supervised Learner 视为特征提取器，并将它们的结果连接起来，就像您对早期融合所做的那样，并将其传递给 SVM
• 我会将班级分数作为特征向量，而不是您假设的实际预测
• 为什么是类分数而不是实际预测？因为类别分数代表了单峰对类别预测的置信度