在简单的 R 逻辑回归中遇到过拟合问题

Question

我是 R 的新手，我正在尝试对一组临床数据执行逻辑回归。 我的自变量是 AGE、TEMP、WBC、NLR、CRP、PCT、ESR、IL6 和 TIME。 我的因变量是二项式 CRKP。

使用 glm.fit 后，我​​收到以下错误消息：

glm.fit <- glm(CRKP ~ AGE + TEMP + WBC + NLR + CRP + PCT + ESR, data = cv, family = binomial, subset=train)

Warning message:
glm.fit: fitted probabilities numerically 0 or 1 occurred

我搜索了潜在问题并使用 corrplot 函数查看是否存在可能导致过度拟合的多重共线性。

这就是我的情节。

相关图显示我的 ESR 和 PCT 变量高度相关。同样，CRP 和 IL6 高度相关。但它们都是我想纳入模型的重要临床指标。

我尝试使用 VIF 选择性地丢弃变量，但这不会有偏见，而且我必须牺牲一些我感兴趣的变量。

有人知道我能做什么吗？请帮忙。谢谢！

Answer 1

您有多重共线性问题，但不想删除变量。在这种情况下，您可以使用偏最小二乘法 (PLS) 或主成分回归 (PCR)。