使用 Adaboost 在特征向量中选择最佳特征答案

【问题标题】：Selecting Best Features in a feature vector using Adaboost使用 Adaboost 在特征向量中选择最佳特征
【发布时间】：2012-04-20 22:21:13
【问题描述】：

我已阅读有关 Adaboost 工作原理的一些文档，但对此有一些疑问。

我还了解到，Adaboost 还 从数据中挑选最佳特征，除了 加权弱分类器 并在测试阶段使用它们来有效地执行分类。

Adaboost 如何从数据中挑选最佳特征？

如果我对 Adaboost 的理解有误，请纠正我！

【问题讨论】：

Adaboost 为分类器分配权重，因此具有最大权重的分类器是分类最好的分类器。但是您不应该将此作为规则使用，因为所有分类器都应该是弱分类器，并且仅比随机统一分类器略好

【解决方案1】：

在某些情况下，Adaboost 中的弱分类器（几乎）等于特征。换句话说，使用单一特征进行分类可以产生比随机性能稍好的结果，因此可以用作弱分类器。 Adaboost 会在给定训练数据的情况下找到一组最好的弱分类器，因此如果弱分类器等于特征，那么您将得到最有用的特征的指示。

类似特征的弱分类器的一个例子是decision stumps。

【讨论】：

是否还有特征和分类器相同的情况。查看特征向量时如何识别它们？
您到底想达到什么目的？您想找到最有用的功能吗？
我只是想了解 adaboost 算法。我读过很多研究论文。许多作者交替使用术语“特征”和“分类器”。我想知道在大多数情况下是这样还是只是在少数情况下如此。我想知道作者是如何得出这样的结论的。
您能否参考这些使用不同术语的文章？

【解决方案2】：

好的，adaboost 根据其基本学习器树选择特征。对于单个树，有几种方法可以估计单个特征对树的贡献，在某处称为相对重要性。对于 adaboosting，一种包含几棵这样的树的集成方法，可以通过测量每个特征对每棵树的重要性然后对其进行平均来计算每个特征对最终模型的相对重要性。

希望这可以帮助你。

【讨论】：