使用一个模型的概率作为另一个模型的特征

【问题标题】：Using probabilities from a model as features to another使用一个模型的概率作为另一个模型的特征
【发布时间】：2018-01-12 08:13:29
【问题描述】：

我想将一个模型的概率输出用作另一个模型的特征。

例如，我想确定一张图片上是哪种鸟，我想使用 CNN，对其进行训练，然后将概率结果与其他数据（例如鸟的大小和重量）一起使用，然后将其喂给一个 svm。

我是否需要使用训练和测试集来使用 CNN 提取这些概率？我应该将我的数据集分成多个折叠，然后为每个不同的测试折叠提取概率，还是可以只对所有数据进行训练和测试并保存概率？

【问题讨论】：

【解决方案1】：

测试集旨在验证您的分类器是否达到其目标，或者设置超参数。在这种情况下，您对 CNN 的输出不感兴趣，因为它只是更大范围内的中间层。

话虽如此，您显然没有通过其输入反向传播 SVM 错误。这就是两阶段模型的结果。如果你这样做了，你将优化 CNN 以用作该特定 SVM 的输入。

【讨论】：

那么在这种情况下训练和测试单个 CNN 可以吗？是不是过拟合了？
@LucasRamos：让我们暂时假设 CNN 确实过拟合。问题是 CNN 输出对于训练数据是最优的，但是在其他数据上存在泛化错误。你会用相同的数据训练 SVM 吗？如果是这样，那么 SVM 将遭受其输入的泛化错误。如果不是，SVM 将否定这些