【问题标题】:How to deal with large number of factors/categories within partykit如何处理partykit中的大量因素/类别
【发布时间】:2019-12-13 20:35:05
【问题描述】:

我使用partykit 包并遇到以下错误消息:

Error in matrix(0, nrow = mi, ncol = nl) : 
invalid 'nrow' value (too large or NA)
In addition: Warning message:
In matrix(0, nrow = mi, ncol = nl) :
NAs introduced by coercion to integer range

我使用了this 文章中给出的示例,该示例将包及其处理与许多类别进行了比较。

问题是,使用的拆分变量类别太多。在mob() 函数中创建了一个包含所有可能拆分的矩阵。仅此矩阵的大小为p * (2^(p-1)-1),其中 p 是拆分变量的类别数。 根据使用的系统资源(RAM 等),不同数量的 p 会出现给定的错误。

文章建议使用基尼标准。我认为以partykit包的意图,不能使用基尼标准,因为我没有目标变量的分类问题,而是模型规范问题。

因此,我的问题是:有没有办法为这种情况找到拆分或减少要检查的拆分数量?

【问题讨论】:

    标签: r party


    【解决方案1】:

    这种只搜索 k 个有序拆分而不是 2^k -1 个无序分区的技巧仅在某些情况下有效,例如,当可以按每个类别中的平均值对响应进行排序时。我从来没有足够详细地研究过潜在的理论,但这仅在某些假设下有效,而且我不确定这些假设是否在某处得到了足够好的说明。您当然需要一个单变量问题,因为只有一个基础参数(通常是平均值)被优化。考虑到对 Gini 的强调,目标函数的连续可微性可能也是一个问题。

    mob() 可能最常用于分区多个参数的情况,我认为不可能利用这个技巧。同样,ctree() 可以轻松应用于具有多变量分数的情况,即使响应变量是单变量的(例如,用于捕获位置和尺度差异)。

    我通常建议将具有多个级别的因素分解成更小的部分。例如,如果您有一个观察的邮政编码的因素:那么可以使用一个州/省的因素,一个编码“大小”(面积或人口)的数字变量,一个编码农村与城市的因素,等等。当然,这是额外的工作,但通常也会导致更多可解释的结果。

    话虽如此,如果这些技巧可用,partykit 将在我们的愿望清单上。但这不是我们当前议程的首要任务……

    【讨论】:

    • 我同意这个逻辑。话虽如此 - 因为它可能并不总是可能得到“更小的部分” - 我正在尝试为具有超过特定数量的类别(例如 10)的拆分变量添加聚类分析(kmeans)。集群建立在每个单一类别的参数之上。我希望找到可能不是最好的拆分,但至少是一个好的拆分,以便我可以使用大量因素。我知道,我可能会遇到问题,即单个类别小于最小尺寸。你对此有什么想法吗?
    • 我曾经有过在分数矩阵上运行 k-means(或类似的东西)的想法。因此,与其沿协变量进行基于分数的参数不稳定性测试,不如在不使用任何协变量的情况下运行基于分数的 k-means。不过,在我看到的非常有限场景中,这并不是很有希望。在具有多个级别的分类协变量的情况下,可以尝试以下操作:汇总每个类别中的分数,然后运行 ​​2-means(或 k-means,k = 1、2、3,...)。我认为值得一试。
    【解决方案2】:

    我用来解决问题的方法是通过使用model.matrix(~ 0 + predictor, data) 将变量转换为对比矩阵。 ctree() 无法管理长因子,但可以轻松管理具有许多变量的数据集。

    当然,也有缺点,使用这种技术你会失去ctree() 的因子聚类功能;每个节点将只使用一个级别,因为它们现在是不同的列。

    【讨论】:

    • 这是一个有趣的想法,但是当您有很多类别时,它们可能无法填满例如最小尺寸。您对此有解决方案/想法吗?
    • 呃,我不确定你的意思。如果您的意思是非常罕见的级别将被忽略,这确实是真的。根据我的经验,在运行树之前对分类预测变量进行一次加热确实会以敏感性为代价增加特异性。例如,如果您有一个具有多个级别的分类预测器,则 one-hotting 将仅选择那些对结果具有显着预测性的级别并忽略其他级别,而不是使用未转换的预测器,您将在每个规则中拥有一组级别,但是除非你的树很深,否则你可能永远不会深入到特定的类别。
    • 所以这是一个权衡。 One-hotting 作为两个更好的效果:1) 变量较少,即规则受数据随机变化的影响较小(通常是决策树的一个大问题)。 2) 该算法在选择变量方面比在分组方面要快得多(快几个数量级)
    猜你喜欢
    • 2012-01-25
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-06-09
    • 1970-01-01
    • 1970-01-01
    • 2022-11-11
    • 2019-06-17
    相关资源
    最近更新 更多