决策树学习算法中的重复训练数据答案

【问题标题】：Duplicate Training Data in Decision Tree Learning Algorithm决策树学习算法中的重复训练数据
【发布时间】：2016-05-24 09:32:55
【问题描述】：

我有以下训练数据集，其中第一行显示属性名称。

S_Length, Se_Width, P_Length, P_Width, Predicate
5.1,3.5,1.4,0.2,Ili
4.9,3.0,1.4,0.2,Iri
4.7,3.2,1.3,0.2,Iyr
4.6,3.1,1.5,0.2,Ir
5.0,3.6,1.4,0.2,Po
5.4,3.9,1.7,0.4,II
4.6,3.1,1.5,0.2,Ir
5.0,3.4,1.5,0.2,Imt
4.6,3.1,1.5,0.2,Ir

在上述数据集中，在第 4,7 和 9 行，数据集是重复的。它如何影响算法？我应该省略重复的数据吗？

【问题讨论】：

如果我试图根据包括他们喝的啤酒在内的属性来预测某人是否是彩票中奖者，然后我包括一个中奖的 Bud 饮酒者的无数个副本，你认为会是什么？发生了吗？
这是一个非常现实的例子。那么可以肯定的是，重复的数据集给节点增加了不必要的权重，应该删除吗？

标签： machine-learning decision-tree training-data

【解决方案1】：

如果这是正确收集的数据（一些随机过程/问题的随机样本），那么您永远不应该删除样本。这只是您的数据的特征，您已经采样了两个具有相同表示的对象。有效地，这将更加重视这一点，如果现实是这样的，这是一个有效的事情。简而言之，永远不要删除任何内容，除非您100% 确定这是由于错误，或者您想要实现一些不标准的东西（比如偏见不同分布的估计器，计算效率的近似解等）。

【讨论】：

我不能完全同意你的结论“100% 确定这是由于错误”。我会将其替换为“100% 确定您知道自己在做什么”。保留和删除这些要点有很多很好的理由。其中一个原因是您使用具有硬边距的 SVM 和一个加速计算的 SVM。其他人是这些观点不受欢迎（？）强调其他训练方法中的错误分类成本，例如决策树。因此，这点对不同的训练方法有不同的影响。
@CAFEBABE，当然，基本假设是“如果您使用的是标准设置”。如果您想做一些非标准的事情，您甚至可以删除所有训练样本并手动构建模型；）然后没有规则（答案已编辑）
（空间太小，无法进行真正的讨论）你用你的回答总结了我的问题：你应用了某些假设。您称之为标准设置的这些假设（似乎：统计机器学习，经验风险最小化）。但是，一旦您离开此设置，情况就会完全不同。例如，在聚类、规则归纳等方面。在写“知道你在做什么”时，我不得不微笑，因为在你知道自己在做什么之前，你永远不应该在 ML 中得出任何结论。因此，问题非常相关，但是，细节太少，无法给出 0/1 答案恕我直言。不错的答案。所以
刚刚看到部分内容包含在标题中。 DT 并没有让它变得更容易。

【解决方案2】：

对于统计机器学习 lejlot 给出了非常好的答案。但是，决策树学习有点不同。它使用贪婪的搜索来寻找一个好的结构，这可能会导致奇怪的结果。从历史上看，这是因为它们来自机器学习更像是一门艺术（或工程，但这听起来不那么性感）的时代。 .

在继续之前，我们需要两个确保两个属性（第一个已经被 lejlot 解释过）

这种重复不是由于数据收集过程中的错误
您的数据仍然是 i.i.d。如果你想做 LOO 或 CV，训练、测试、验证拆分。这个对我来说非常重要。如果看到很多例子，这破坏了统计评估的所有属性。特别是，训练/测试拆分可能会应用于修剪等。如果是这样并且您的示例不是独立的，您需要确保它们最终以相同的 fold

对于数字数据，我会立即非常怀疑其中任何一个都被违反了。

鉴于这些假设 - 除了您使用 C4.5 - 我们可以分析对学习模型的影响。如果我们假设，您的类可以通过决策树分离，并且您没有设置任何约束，那么它没有任何区别。在这种情况下，您实际上可以安全地删除它们，但是，保留它们对分类也没有太大的影响。但是，树的结构可能会受到这些添加示例的很大影响。在不计算entropy/gini 索引的实际值的情况下，我假设第一个拆分将在S_Length =< 4.6 上。这是这些额外示例最重要的结果：C4.5 的贪婪将推动结构朝着能够很好地捕捉这些示例的方向发展。您可以将这种结构称为某个类的过度拟合。如果与其他功能相比，这种差异相当微不足道，那么这可能是一个问题。 SVM 在这里的反应会更好（这并不奇怪：统计机器学习）。

总的来说，我实际上会保留它们并删除它们。在归纳树的结构时，我会忽略它们，只计算剩余示例的结构。但是，为了计算叶子中的分类和修剪，我会使用它们。

上一段包含最重要的建议：我会在这样的域中对树应用修剪。

【讨论】：