机器学习分类集成

Question

我有一个关于机器学习中分类器集成的问题。我已经阅读了有关Ensemble methods 的信息，但我无法将它们与我的想法联系起来。

如果我有几个分类器来解决多类问题，并且一些分类器在某些类中表现出比其他分类更好的性能，我如何在我的集成中利用这个特性？

例如。 分类器 A 在 1 类中的 F1 分数高于其他类。 与其他类相比，分类器 B 在第 2 类中的 F1 得分更高。 与其他类相比，分类器 C 在第 3 类中的 F1 得分更高。 我该如何做一个集成，以便我在分类器 A 中给予第 1 类的概率更多的权重并减少其余部分？

我正在考虑一个简单的 2 层方法。 第 1 层：对于每个分类器，在内部根据各个类的性能在各个类之间设置权重，然后进行归一化。 第 2 层：每个分类器的权重基于其整体 F1 性能

这有意义吗？

第 1 层 型号 A Class1 Class2 Class3 原版 0.2 0.5 0.3 重量 0.2*0.25 0.5*0.5 0.3*0.25 等于 0.05 0.25 0.075 标准化 0.133 0.66 0.2 第 2 层 型号 Class1 Class2 Class3 0.3*0.133 0.3*0.66 0.3*0.2 B 0.5*blah 0.5*blah 0.5*blah C 0.2*blah 0.2*blah 0.2*blah 平均 平均 平均 平均

谢谢。

Answer 1

为什么理论上您可以对不同模型的结果进行不同的加权并获得更好的结果，考虑到任务是找到类别，您如何根据类别对它们进行不同的加权？

您可以全局加权一些分类器。此外，一旦确定了一个类（即有足够多的分类器同意该类是 X），您可以重新加权概率（例如，如果集成表示概率为 60% 并且该类上的一些可信分类器具有很高的概率，您可以使其达到 80%）。但是，我不确定这在实践中是否有帮助。