在机器学习模型中使用黄金特征的最佳方法是什么？答案

【问题标题】：What is the best way to use golden feature in machine learning model?在机器学习模型中使用黄金特征的最佳方法是什么？
【发布时间】：2019-11-30 23:58:45
【问题描述】：

假设我有一个分类模型。我的工作是从 30 个不同的类别中预测出正确的类别。当前准确率为 70%。

问题是：我必须使用另一个团队的分类结果，准确率达到 80%。所以我使用他们的预测标签作为特征。我称之为“黄金特征”。假设我的目标是使用黄金特征 > 80% 的准确度。

这是我目前的做法：

（我正在使用深度学习。）我有几个特征，每个特征都有自己的权重。我还为“黄金特征”的一个热向量（1 x 30）创建了一个权重向量，并将所有权重一起训练。然而，结果似乎并没有提供太多。

我思考了原因并意识到学习向量（30 x n，然后是 n x 30，因此它产生 1 x 30）不会那么有意义。它们只是正数。（如果我的推理有误，请骂我！）

有没有人遇到过类似的问题？任何建议将不胜感激。您建议的方法不一定是深度学习方法。

【问题讨论】：

不是编程问题，因此这里可以说是题外话；更适合Cross Validated。

标签： machine-learning deep-learning

【解决方案1】：

您可以做的另一件事是尝试用您的第二个模型补充第一个模型。有一个中间预测器，它的唯一工作是预测天气，第一个模型是否会产生正确的结果。这个中间预测器将采用与原始模型相同的特征。由于这是一个二元分类器，因此您可能会从中获得很高的准确率。然后，如果中间模型的置信度较低，请使用您自己的分类模型而不是原始模型。

或者，您可以有两个中间模型，一个用于原始模型，一个用于分类器。然后，取预测的加权和，由两个中间模型的置信度得分加权。

【讨论】：

【解决方案2】：

您可以采用集成建模方法。

这是它的样子：

feature_1 ---- |         |  
feature_2 ---- | Model 1 | ---- output 1
feature_n ---- |         |

feature_1 ---- |         |  
feature_2 ---- | Model 2 | ---- output 2
feature_n ---- |         |

feature_1 ---- |         |  
feature_2 ---- | Model n | ---- output n
feature_n ---- |         |

现在，您构建一个元模型。一个简单的元模型可能是一个简单的投票分类器（来自分类器的最大投票获胜，因此所有模型都具有相同的投票权重）或逻辑回归（加权投票）。您可以使用神经网络、随机森林或 svm，但它可能是过于复杂的模型，因此请根据您的特定问题和数据量考虑使用它。

output_1 ---- |            |  
output_2 ---- | Meta Model | ---- Final Classification
output_n ---- |            |

在您的情况下，“黄金特征”就像输出 1。

查看这篇写得很好的帖子了解更多详情：https://blogs.sas.com/content/subconsciousmusings/2017/05/18/stacked-ensemble-models-win-data-science-competitions/

【讨论】：

不错，实用的答案，+1