带有决策树桩的 Adaboost 实施答案

【问题标题】：Adaboost Implementation with Decision stump带有决策树桩的 Adaboost 实施
【发布时间】：2015-07-25 03:53:44
【问题描述】：

我一直在尝试使用决策树桩作为弱分类器来实现 Adaboost，但我不知道如何优先考虑加权未分类实例？

【问题讨论】：

我不是在谈论 weka。我想知道是否为实例分配了权重，然后如何训练决策树桩或决策树分类器。

【解决方案1】：

决策树桩基本上是指定特征、阈值和极性的规则。因此，给定样本，您必须找到具有最低误差的一个特征-阈值-极性组合。通常您计算错误分类并将其除以样本数以获得错误。在 Adaboost 中使用了加权误差，这意味着您无需计算错误分类，而是将分配给错误分类样本的权重相加。我希望到目前为止一切都清楚。

现在，为了在下一轮中对错误分类的样本给予更高的偏好，您可以通过增加错误分类样本的权重或降低正确分类样本的权重来调整分配给样本的权重。假设 E 是您的加权误差，您将错误分类的样本权重乘以值 (1-E)/E。由于决策树桩比随机猜测更好，E 将 1，因此权重增加（例如 E = 0.4 => (1-E)/E = 1.5)。另一方面，如果您想减少正确分类的样本权重，请改用 E/(1-E)。但是，不要忘记之后对权重进行归一化，使它们的总和为 1。这对于计算加权误差很重要。

【讨论】：