【问题标题】:How to calculate the distance between two decision trees?如何计算两棵决策树之间的距离?
【发布时间】:2022-08-02 17:28:01
【问题描述】:

在精准医学中,决策树已被用于将患者划分为可能对治疗有相似反应(相似治疗效果)的不同亚组。在这种情况下,找到一个稳定的树形结构来决定哪些患者应该或不应该接受治疗至关重要。

然而,正如我们所知,基于单棵树的决策是不鲁棒的,因为单棵树的结构是可变的。尽管使用集成算法(构建许多树并对其进行平均)可以提高预测精度,但决定应该选择哪棵树可能会变得不清楚。

因此,在诸如随机森林之类的集成算法中,我们希望计算一棵树与其他树的相似度/距离,并找出最可靠并代表一棵树以进行决策。

所以,我们想问问是否有一些可靠的理论和代码来支持这一点。

  • 决策树和随机森林之间的主要区别之一是,RF 每次创建树集合时都会获取一个特征子集。并且分类决策是一个平均值,在大多数情况下会导致更好的决策。

标签: tree distance random-forest similarity cart-analysis


【解决方案1】:

不同树之间的距离取决于您的解释。话虽如此,我认为您可以使用以下内容:

决策树和随机森林之间的主要区别之一是,RF 每次创建树集合时都会获取一个特征子集。并且分类决策是一个平均值,在大多数情况下会导致更好的决策。因此,我们考虑未来的射频。

因此,如果您的数据集包含n 行,请在m < n 的位置随机采样m 数据点。说100 次的样本,并在每个样本上训练/测试 RF。然后,您可以平均出准确度/F1 分数并查看性能。另一种方法是进行StratifiedKFold 测试。

如果您绘制精度分布,如果您看到高斯分布,您或多或少可以说您的预测将是一致/可靠的。

【讨论】:

    猜你喜欢
    • 2010-10-30
    • 1970-01-01
    • 2019-02-16
    • 2016-07-01
    • 2021-04-26
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多