决策树连续属性答案

【问题标题】：Decision tree continuous attributes决策树连续属性
【发布时间】：2016-11-11 01:38:57
【问题描述】：

我正在使用决策树制作数据挖掘模型。如果我有像 MALE 和 FEMALE 这样的二进制属性，我知道在拆分时我将有两个来自 Gender 节点的分支。但是，如果我有连续属性，它是从 0 到 1 的浮点数。我是否将其映射到离散值，如 LOW (0 - 0.5) 和 HIGH (0.5 - 1)？或者有其他方法吗？

【问题讨论】：

标签： machine-learning classification decision-tree

【解决方案1】：

为什么需要自己拆分？我不确定我是否理解正确。但是，决策树的目的正是您似乎手动执行的操作。

对于给定的特征F（我们以连续属性为例），其中值在(a, b)内（可以是] -∞, +∞[ )，决策树寻找最佳* 值 V 将您的节点分成两个独立的叶子。因此，如果属性 F 在 (a, V) 内，则数据属于第一个叶子，如果在 (V, b) 内，则数据属于第二个叶子。强>

什么最佳* 意味着？

它们是找到值 V 的多种方法，但一般来说，每个叶子的纯度（文学术语）是最大的，这意味着数据内部在某种程度上是同质的。 Wiki 给出了一些常用的指标来将每个父叶拆分为两个子叶。

【讨论】：

我知道信息增益（熵减少）是选择哪个属性进行拆分时的指标，但我不确定为单个属性选择切点时。我明白你在说什么，但是当间隔是连续的时，算法应该如何知道哪些是切点的最佳候选者，我必须选择一些值，然后看看这些值的指标是什么。比如0、0.2、0.4、0.6、0.8，对吧？
算法本身必须以某种方式被用户“告知”要寻找哪个候选切点...
不，这就是重点。他将根据最小化函数选取最佳切点。例如，您应该检查决策树的 sklearn 实现：它们不需要任何候选切点作为参数。

【解决方案2】：

如上所述，您无需担心找到最佳属性。但是，如果您有大量浮点数作为属性，则每个值的计算时间都很昂贵。在这种情况下，请查看决策树中的离散化算法。

因此，在您的示例中，当应用二进制离散化技术时，您的连续属性将转换为离散的二进制属性。有很多离散化技术，它们使用不同的方法来找到类之间的完美阈值（在你的例子中是 0.5）。

【讨论】：