【问题标题】:How do regression models deal with the factor variables?回归模型如何处理因子变量?
【发布时间】:2016-08-02 00:36:07
【问题描述】:

假设我有一个包含因子和响应变量的数据。 我的问题:

  • 线性回归和混合效应模型如何处理因子变量?
  • 如果我对因子变量(m3 and m4) 的每个水平都有一个单独的模型,那么这与模型m1m2 有何不同?
  • 哪一种是最好的模型/方法?

例如,我在nlme 包中使用Orthodont 数据。

library(nlme)
data = Orthodont
data2 <- subset(data, Sex=="Male")
data3 <- subset(data, Sex=="Female")

m1 <- lm (distance ~ age + Sex, data = Orthodont) 
m2 <- lme(distance ~ age , data = Orthodont, random = ~ 1|Sex)

m3 <- lm(distance ~ age, data= data2
m4 <- lm(distance ~ age, data= data3)

【问题讨论】:

  • model.matrix(m1) 将显示简单线性模型如何处理该因子。它创建一个由 0 和 1 组成的列,其中为“男性”提供 1,为“女性”提供 0。混合效应模型更复杂,但 coef(m2) 会显示每个随机效应水平的参数估计值。

标签: r regression lm mixed-models nlme


【解决方案1】:

Q1:线性回归和混合效应模型如何处理因子变量?
A1:因子被编码为虚拟变量(1 = true,0 = false)。
例如,模型 1 的系数为:

coef(m1)    #lm( distance ~ age + Sex)
#(Intercept)         age   SexFemale 
# 17.7067130   0.6601852  -2.3210227 

因此计算距离是:
距离 = 17.71 + 0.66*age - 2.32*SexFemale
其中,SexFemale 为男性为 0,女性为 1。这简化为:
男:    距离 = 17.71 + 0.66*年龄
女性:距离 = 15.39 + 0.66*年龄

如果模型有更多类别(例如超重、健康、体重不足),则相应添加虚拟变量:
R 代码:lm(距离 ~ 年龄 + weightStatus)
计算:距离 = 年龄 + weightIsOver + weightIsHealthy + weightIsUnder
为每种体重类型创建三个单独的系数,并根据个人的体重类型乘以 0 或 1。

Q2:如果我对因子变量的每个级别(m3m4)都有一个单独的模型,这与模型 m1m2 有什么不同?A2:斜率和截距根据您的模型而变化。
m1 是一个多元线性回归 (MLR),其中截距随性别而变化,但年龄的斜率是相同的。我们也可以将其称为随机斜率。线性混合效应 (LME) 模型 m2 还指定了一个因性别而异的截距 (1|Sex)。
m3 和 m4 ~ 随机斜率和随机截距模型,因为数据是分开的。

让我们指定一个具有随机斜率和随机截距的 LME:

m2a <- lme(distance ~ age, data = Orthodont, random= ~ age | Sex,
            control = lmeControl(opt="optim"))  
            #Changed the optimizer to achieve convergence

组合系数可以让我们检查模型的结构:

#Combine the model coefficients
coefs <- rbind(
                coef(m1)[1:2],                     
                coef(m1)[1:2] + c(coef(m1)[3], 0), #female coefficient added to intercept
                coef(m2),
                coef(m2a),
                coef(m3),
                coef(m4)); names(coefs) <- c("intercept", "age")
model.coefs <- data.frame(
                   model = paste0("m", c(1,1,2,2,"2a", "2a",3,4)),
                   type  = rep(c("MLR", "LME randomIntercept", "LME randomSlopes", 
                                  "separate LM"), each=2),
                   Sex = rep(c("male","female"), 4), 
                   coefs, row.names = 1:8)

model.coefs
#  model              model2    Sex intercept       age  #intercept & slope 
#1    m1                 MLR   male  17.70671 0.6601852  #different   same 
#2    m1                 MLR female  15.38569 0.6601852  
#3    m2 LME randomIntercept   male  17.67197 0.6601852  #different   same
#4    m2 LME randomIntercept female  15.43622 0.6601852 
#5   m2a    LME randomSlopes   male  16.65625 0.7540780  #different  different
#6   m2a    LME randomSlopes female  16.91363 0.5236138
#7    m3         separate LM   male  16.34062 0.7843750  #different  different
#8    m4         separate LM female  17.37273 0.4795455

Q3:哪种模型/方法最好?
A3:这取决于具体情况,但可能是混合效应模型。

在您的示例中, m3 和 m4 彼此没有关系,并且每个性别固有地具有不同的斜率。可以检查 LME 模型以确定是否需要随机斜率(例如anova(m2, m2a))。当您有多个级别(例如学校内班级内的学生)和重复测量(同一主题或跨时间的多个测量)时,混合效应模型是通用的。您还可以使用这些模型指定covariance structures

为了可视化这些不同的模型,让我们看一下Orthodont 数据:

library(ggplot)
gg <- ggplot(Orthodont, aes(age, distance, fill=Sex)) + theme_bw() +
        geom_point(shape=21, position= position_dodge(width=0.2)) +  
        stat_summary(fun.y = "mean", geom="point", size=8, shape=22, colour="black" ) +
        scale_fill_manual(values = c("Male" = "black", "Female" = "white"))

圆圈 = 原始数据,正方形 = 均值。距离似乎随年龄线性增加。男性的距离比女性高。斜坡也可能因性别而异,与男性相比,女性随着年龄的增长而增加的距离较小。 (注意:为了避免过度绘制,原始数据在 x 轴上已略微躲避。)

将我们的模型添加到数据中并放大:

gg1 <- gg +  
            geom_abline(data = model.coefs, size=1.5,
               aes(slope = age, intercept = intercept, colour = type, linetype = Sex)) 
gg1 + coord_cartesian(ylim = c(21, 27)) #zoom in

在这里,我们看到具有随机截距的 LME 模型类似于 MLR 模型。具有随机截距和随机斜率的 LME 类似于子集数据上的单独 LM。

最后,这里是如何使用lme4 包制作m2 的等效项:

m2 <- lme(distance ~ age , data = Orthodont, random = ~ 1|Sex)
library(lme4)
m5 <- lmer(distance ~ age + (1|Sex), data = Orthodont)  #same as m2

更多资源:
(Generalized) Linear Mixed Models FAQ
Comparing nlme and lme4 使用Orthodont 数据。

【讨论】:

  • 感谢您的完美描述。你知道非线性在混合效应模型中是如何工作的吗?我记得他们在预测方面存在问题,因此您可以使用平滑或混合效果部分进行预测。
猜你喜欢
  • 2021-10-03
  • 2018-09-19
  • 2019-06-17
  • 1970-01-01
  • 2019-03-30
  • 1970-01-01
  • 1970-01-01
  • 2020-09-23
  • 1970-01-01
相关资源
最近更新 更多