如何使用 AdaBoost 进行特征选择？

Question

我想使用 AdaBoost 从大量（~100k）中选择一组好的特征。 AdaBoost 通过迭代特征集并根据它们的执行情况添加特征来工作。它选择在被现有特征集错误分类的样本上表现良好的特征。

我目前在 Open CV 的 CvBoost 中使用。我得到了一个example working，但是从documentation 中不清楚如何提取它使用的特征索引。

使用CvBoost、第三方库或自己实现，如何使用 AdaBoot 从大型功能集中提取一组功能？

Answer 1

在@greeness 回答的帮助下，我创建了CvBoost 的子类

std::vector<int> RSCvBoost::getFeatureIndexes() {

    CvSeqReader reader;
    cvStartReadSeq( weak, &reader );
    cvSetSeqReaderPos( &reader, 0 );

    std::vector<int> featureIndexes;

    int weak_count = weak->total;
    for( int i = 0; i < weak_count; i++ ) {
        CvBoostTree* wtree;
        CV_READ_SEQ_ELEM( wtree, reader );

        const CvDTreeNode* node = wtree->get_root();
        CvDTreeSplit* split = node->split;
        const int index = split->condensed_idx;

        // Only add features that are not already added
        if (std::find(featureIndexes.begin(),
                      featureIndexes.end(),
                      index) == featureIndexes.end()) {

            featureIndexes.push_back(index);
        }

    }

    return featureIndexes;
}

Answer 2

声明：我不是opencv的用户。从文档来看，opencv 的 adaboost 使用decision tree（分类树或回归树）作为基本的弱学习器。

在我看来这是去get the underline weak learners的路：

CvBoost::get_weak_predictors
Returns the sequence of weak tree classifiers.

C++: CvSeq* CvBoost::get_weak_predictors()
The method returns the sequence of weak classifiers. 
Each element of the sequence is a pointer to the CvBoostTree class or 
to some of its derivatives.

一旦您可以访问CvBoostTree* 的序列，您应该能够检查树中包含哪些特征以及拆分值是什么等。

如果每棵树只是一个决策树桩，那么每个弱学习器中只包含一个特征。但是，如果我们允许树的深度更深，则每个弱学习器中都可能存在特征组合。

我进一步看了CvBoostTree class;不幸的是，该类本身并没有提供公共方法来检查所使用的内部功能。但是您可能希望创建自己的继承自 CvBoostTree 的子类并公开任何功能。