【问题标题】:VIF No intercept: vifs may not be sensibleVIF 无拦截:vifs 可能不明智
【发布时间】:2021-04-13 14:39:56
【问题描述】:

我正在尝试测试我的多项逻辑回归模型的假设是否成立。

多项逻辑回归模型是可以创建和比较的模型,尽管它有这样的假设:

多项逻辑回归确实有假设,例如 假设因变量选择之间的独立性。这 假设表明一个类别的选择或成员资格是 与另一个类别的选择或成员资格无关(即, 因变量)。 (source)

所以在搜索了一段时间后,我发现了方差膨胀因子,它衡量自变量的行为(方差)在多大程度上受到其与其他自变量的交互/相关性的影响或膨胀。

#Multinomial Logisitic Regression
mlrModel = train(
  label~.,
  data = overallDataset,
  method = "multinom",
  trControl = trainControl(method = "cv", number = 5),
  trace = FALSE
)
mlrModel$results
head(predict(mlrModel, type = "prob"))
library(car)
vif(mlrModel$finalModel)

但我收到此警告:

Warning message:
In vif.default(mlrModel$finalModel) :
  No intercept: vifs may not be sensible.

结果差异很大:8.575035e+07 到 -7.188586e+13

我没有从模型中删除截距。

我发现了这个问题:vif(): "Warning message: No intercept: vifs may not be sensible." Trying to check multicollinearity with multinomial logistic regression 但它没有答案。

【问题讨论】:

    标签: r machine-learning regression multinomial


    【解决方案1】:

    首先,在引用的内容中,请注意它说“多项逻辑回归确实有假设,例如因变量选择之间的独立性假设。”当您寻找方差膨胀因子时,您正在查看 independent variables 之间的多重共线性。我不太明白这里的联系。

    多项式模型中有一个截距。但是你需要记住有不止一组系数,如果你的标签中有 n 个类,其中一个被视为截距并且你有 n-1 组系数。

    因此您会看到该错误,因为在称为 (car:::vif.default) 的 vif 函数中,代码中有一行:

    if (names(coefficients(mod)[1]) == "(Intercept)") {
            v <- v[-1, -1]
            assign <- assign[-1]
        }
        else warning("No intercept: vifs may not be sensible.")
    

    所以,我们可以用下面的例子来说明为什么会返回错误:

    library(nnet)
    fit = multinom(Species ~.,data=iris)
    vif(fit)
     Sepal.Length   Sepal.Width  Petal.Length   Petal.Width 
    -1.878714e+16 -8.846005e+15 -1.827592e+15 -4.954974e+15 
    Warning message:
    In vif.default(fit) : No intercept: vifs may not be sensible.
    

    同样的错误,我们看看系数:

    coefficients(fit)
               (Intercept) Sepal.Length Sepal.Width Petal.Length Petal.Width
    versicolor    18.69037    -5.458424   -8.707401     14.24477   -3.097684
    virginica    -23.83628    -7.923634  -15.370769     23.65978   15.135301
    
    names(coefficients(fit))
    NULL
    

    因为它是多项式的,所以系数存储为矩阵(使用一个类作为参考,您估计其他类的对数几率),因此 names() 函数不起作用,并返回错误。

    在不深入研究统计数据的情况下,可能没有一种简单的方法或方法来计算多项式模型的 vif,我在下面建议的是对不同类使用逻辑的粗略近似:

    labels = rownames(coefficients(fit))
    ref = set.diff(fit$lab,labels)
    t(sapply(labels,function(i){
           dat = iris
           dat$Species = as.numeric(dat$Species == i)
           vif(glm(Species ~ .,data=dat,family="binomial"))
    }))
    
               Sepal.Length Sepal.Width Petal.Length Petal.Width
    versicolor     6.860029    1.511153    27.926317   14.795556
    virginica      1.624657    2.797563     1.985489    3.093114
    

    【讨论】:

    • 抱歉,我不太明白改进后的解决方案在做什么/它是如何工作的。为什么我们现在使用二项式而不是多项式? @StupidWolf
    • 你不能在 nnet 的多项式上使用vif(),它不是为了那个。如果您想查看多项模型中的多重共线性,一种解决方法是进行两个单独的逻辑回归,就像我在上面所做的那样
    • 这应该给你一个接近的近似值
    猜你喜欢
    • 2015-10-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-11-22
    • 2013-06-25
    • 2018-08-09
    • 2023-03-13
    相关资源
    最近更新 更多