【问题标题】:Extracting model coefficients from a nested list (list-columns)从嵌套列表(列表列)中提取模型系数
【发布时间】:2018-12-13 09:07:17
【问题描述】:

我正在遵循 R for Data Science 书中的 Many Models 示例来生成单独的多元线性回归模型。如下面的可重现示例所示,我的数据框由三列组成:id, val1, val2, val3,。我可以使用 Hadley 书中详述的 map 函数来拟合线性模型。但是,我一直在努力从每个模型中提取系数并将这些值作为列添加到 my.list 对象的数据框中。当前存储模型系数的方式使得在我的代码的其他部分中调用变得困难/麻烦。

到目前为止,我想出的最好方法是列出my.list 的长度,并通过迭代my.list:Name1, Name2, Name3 中的每个数据帧来提取系数。这意味着现在我的全局环境中有另一个列表,coef.list 不再包含来自my.list 的因子Name1, Name2, Name3;这些现在已替换为[[1]], [[2]], [[3]]。

在处理多个模型时,谁能提出一种“更简洁”的提取模型系数的方法?我的首选输出只是为每个系数创建一个列:intercept, val1, val2。这些列将进入my.list 内的现有数据框Name1, Name2, Name3,以便我可以直接在数据框上使用mutate:

# reproducible example
set.seed(1363)
d1 <- data.frame(id=c("Name1", "Name2", "Name3"),
             val1=c(rnorm(n=15, mean=5)), 
             val2=c(rnorm(n=15, mean=3)), 
             val3=c(rnorm(n=15, mean=8)))

# linear model function
lm.fun <- function(df){
  lm(val3 ~ val1+val2, data = df)
}

# map lm function
d1 <- d1 %>%
  group_by(id) %>%
  nest() %>%
  mutate(model = map(data, lm.fun)) %>%
  unnest(data, .drop = FALSE)

#split data frame by 'id' and convert into list
my.list <- split(d1, d1$id)

# make list of coefficients
coef.list <- list(length(my.list))
for (i in seq_along(my.list)) {
  coef.list[[i]] <- my.list[[i]][["model"]][[1]][["coefficients"]]
}

>head(coef.list, n=1)
[[1]]
(Intercept)        val1        val2 
9.03278337 -0.07096932  0.02119088 

期望的输出

my.list$Name1
id    val1  val2  val3  intc  coef1  coef2
Name1  1      2    3    9.03  -.070  .021   
Name1  3      1    5    9.03  -.070  .021
Name1  2      6    8    9.03  -.070  .021  

【问题讨论】:

  • 期望中的那些 `val1', 'val2', 'val3' 列值是什么\
  • 不清楚为什么我们需要 3 行相同的值。而是尝试library(broom);d1 %&gt;% group_by(id) %&gt;% nest %&gt;% mutate(model1 = map(data, ~ lm(val3 ~ val1 + val2, data = .) %&gt;% tidy %&gt;% dplyr::select(term, estimate) %&gt;% spread(term, estimate))) %&gt;% dplyr::select(id, model1) %&gt;% unnest
  • 用于添加为新列d1 %&gt;% group_by(id) %&gt;% nest %&gt;% mutate(model1 = map(data, ~ lm(val3 ~ val1 + val2, data = .) %&gt;% tidy %&gt;% dplyr::select(term, estimate) %&gt;% spread(term, estimate))) %&gt;% unnest(model1) %&gt;% unnest(data)

标签: r dataframe nested-lists


【解决方案1】:

根据描述,如果我们需要使用系数创建一些列,一种选择是使用do 和group_by。按“id”分组后,将系数提取为list 内的do 和rename 列(如果需要)

library(tidyverse)
d1 %>% 
  group_by(id) %>% 
  do(data.frame(., as.list(coef(lm(val3 ~ val1 + val2, data = .))))) %>%
  rename_at(5:7, ~c("intc", "coef1", "coef2"))
# A tibble: 15 x 7
# Groups:   id [3]
#   id     val1  val2  val3  intc   coef1   coef2
#   <fct> <dbl> <dbl> <dbl> <dbl>   <dbl>   <dbl>
# 1 Name1  6.76  2.64  9.85  9.03 -0.0710  0.0212
# 2 Name1  6.78  1.52  6.94  9.03 -0.0710  0.0212
# 3 Name1  4.14  4.31  8.30  9.03 -0.0710  0.0212
# 4 Name1  5.55  2.16  9.97  9.03 -0.0710  0.0212
# 5 Name1  6.18  3.64  8.32  9.03 -0.0710  0.0212
# 6 Name2  6.08  1.12  9.96  7.33  0.468  -0.488 
# 7 Name2  3.54  4.71  6.43  7.33  0.468  -0.488 
# 8 Name2  5.66  4.54  8.69  7.33  0.468  -0.488 
# 9 Name2  6.88  4.15  7.79  7.33  0.468  -0.488 
#10 Name2  4.89  1.27  8.72  7.33  0.468  -0.488 
#11 Name3  6.41  4.38  6.22 20.1  -2.15    0.118 
#12 Name3  5.06  3.28  9.42 20.1  -2.15    0.118 
#13 Name3  6.25  3.16  8.15 20.1  -2.15    0.118 
#14 Name3  6.03  3.63  7.78 20.1  -2.15    0.118 
#15 Name3  6.51  1.46  5.90 20.1  -2.15    0.118 

或者我们可以使用broom 包函数。 tidy、glance 等函数提取感兴趣的列(以及更多)。在nest分组数据集之后,构建模型,提取具有tidy、select 感兴趣的列和unnest 的组件

library(broom)
d1 %>% 
   group_by(id) %>%
   nest %>%
   mutate(model1 = map(data, ~ 
                         lm(val3 ~ val1 + val2, data = .) %>%
                              tidy %>%
                              dplyr::select(term, estimate) %>% 
                              spread(term, estimate) %>% 
                              rename_all(~ c("intc", paste0("coef", 1:2))))) %>%  
   unnest(model1) %>%
   unnest(data)
# A tibble: 15 x 7
#   id     intc   coef1   coef2  val1  val2  val3
#   <fct> <dbl>   <dbl>   <dbl> <dbl> <dbl> <dbl>
# 1 Name1  9.03 -0.0710  0.0212  6.76  2.64  9.85
# 2 Name1  9.03 -0.0710  0.0212  6.78  1.52  6.94
# 3 Name1  9.03 -0.0710  0.0212  4.14  4.31  8.30
# 4 Name1  9.03 -0.0710  0.0212  5.55  2.16  9.97
# 5 Name1  9.03 -0.0710  0.0212  6.18  3.64  8.32
# 6 Name2  7.33  0.468  -0.488   6.08  1.12  9.96
# 7 Name2  7.33  0.468  -0.488   3.54  4.71  6.43
# 8 Name2  7.33  0.468  -0.488   5.66  4.54  8.69
# 9 Name2  7.33  0.468  -0.488   6.88  4.15  7.79
#10 Name2  7.33  0.468  -0.488   4.89  1.27  8.72
#11 Name3 20.1  -2.15    0.118   6.41  4.38  6.22
#12 Name3 20.1  -2.15    0.118   5.06  3.28  9.42
#13 Name3 20.1  -2.15    0.118   6.25  3.16  8.15
#14 Name3 20.1  -2.15    0.118   6.03  3.63  7.78
#15 Name3 20.1  -2.15    0.118   6.51  1.46  5.90

或者不使用broom

d1 %>%
    group_by(id) %>%
    nest %>%
    mutate(model = map(data, ~ lm(val3 ~ val1 + val2, data = .) %>%
                         coef %>% 
                         as.list %>%
                         as_tibble)) %>% 
    unnest(model) %>%
    unnest(data)

如果我们只需要每个 'id' 的汇总输出

d1 %>% 
  group_by(id) %>% 
  nest %>%
  mutate(model1 = map(data, ~ 
                      lm(val3 ~ val1 + val2, data = .) %>%
                         tidy %>%
                         dplyr::select(term, estimate) %>%
                         spread(term, estimate) %>% 
                         rename_all(~ c("intc", paste0("coef", 1:2))))) %>%  
  dplyr::select(-data) %>% 
  unnest

或者使用data.table,我们可以更简洁地做到这一点,在按“id”分组并通过将模型的coef提取为list来分配(:=)新列之后

library(data.table)
setDT(d1)[, c('intc', 'coef1', 'coef2') := 
           as.list(coef(lm(val3 ~ val1 + val2))), id]
d1[order(id)]
#       id     val1     val2     val3      intc       coef1       coef2
# 1: Name1 6.755964 2.642874 9.849828  9.032783 -0.07096932  0.02119088
# 2: Name1 6.776666 1.522431 6.937053  9.032783 -0.07096932  0.02119088
# 3: Name1 4.141883 4.307537 8.301940  9.032783 -0.07096932  0.02119088
# 4: Name1 5.551850 2.163882 9.971588  9.032783 -0.07096932  0.02119088
# 5: Name1 6.179506 3.635832 8.319042  9.032783 -0.07096932  0.02119088
# 6: Name2 6.083243 1.116293 9.960934  7.325156  0.46840770 -0.48806159
# 7: Name2 3.536476 4.708967 6.427627  7.325156  0.46840770 -0.48806159
# 8: Name2 5.663909 4.541081 8.691523  7.325156  0.46840770 -0.48806159
# 9: Name2 6.883746 4.150780 7.791050  7.325156  0.46840770 -0.48806159
#10: Name2 4.890291 1.269559 8.723792  7.325156  0.46840770 -0.48806159
#11: Name3 6.414915 4.383609 6.220188 20.106581 -2.14601530  0.11770877
#12: Name3 5.059774 3.276510 9.421862 20.106581 -2.14601530  0.11770877
#13: Name3 6.251416 3.157157 8.147720 20.106581 -2.14601530  0.11770877
#14: Name3 6.028100 3.630858 7.783118 20.106581 -2.14601530  0.11770877
#15: Name3 6.505153 1.460564 5.895564 20.106581 -2.14601530  0.11770877

如果我们不想更新初始数据,请发送join

setDT(d1)[, as.list(coef(lm(val3 ~ val1 + val2))), id][d1, on = .(id)]

注意:“d1”是初始数据集

【讨论】:

  • 感谢您的建议。您对group by 和do 的建议效果很好,但在rename_at 处失效。那时,我收到以下错误:Error: All arguments must be named。我通过使用names(d1)[1] &lt;- "intc" 重命名每一列来解决这个问题。如果您对为什么 rename_at 对我不起作用有任何想法,那将很有帮助,因为它比使用 rename 函数要干净得多。鉴于您提出的方法数量众多,我接受您的回答,因为我相信其他人会发现了解您建议的不同方法很有用。
  • @On_an_island 可能是您使用的是旧版本。我正在使用dplyr_0.7.5和rlang_0.2.1
  • 版本差异可能是原因。我正在运行dplyr 0.7.4 和rlang 0.2.0。我会尝试更新并重新运行您的代码。
  • @On_an_island 这可能是原因。请尝试一下。
  • 正如您所建议的,版本差异是我失败的原因。您建议的 group by, do, and rename_at 在运行 dplyr 0.7.6 时效果很好。谢谢!
【解决方案2】:

使用sapply,给定数据d1(包含model 列):

coeff <- sapply(d1$model, function(x) return(coefficients(x)))

library(dplyr)
bind_cols(d1, data.frame(t(coeff))) %>% 
     rename_at(6:8, ~ c("intc",  "coef1",  "coef2")) %>% 
          distinct(id, .keep_all = TRUE)

【讨论】:

  • 直接在数据框上使用sapply的好建议。
  • 这是更简单的解决方案
【解决方案3】:
library(tidyverse)

d1%>%
   group_by(id)%>%
   mutate(s=toString(coef(lm(val3~val1+val2))))%>%
   separate(s,c("intercept","coef1","coef2"),sep=",",convert = T)%>%
   arrange(id)
# A tibble: 15 x 7
# Groups:   id [3]
   id     val1  val2  val3 intercept   coef1   coef2
   <fct> <dbl> <dbl> <dbl>     <dbl>   <dbl>   <dbl>
 1 Name1  6.76  2.64  9.85      9.03 -0.0710  0.0212
 2 Name1  6.78  1.52  6.94      9.03 -0.0710  0.0212
 3 Name1  4.14  4.31  8.30      9.03 -0.0710  0.0212
 4 Name1  5.55  2.16  9.97      9.03 -0.0710  0.0212
 5 Name1  6.18  3.64  8.32      9.03 -0.0710  0.0212
 6 Name2  6.08  1.12  9.96      7.33  0.468  -0.488 
 7 Name2  3.54  4.71  6.43      7.33  0.468  -0.488 
 8 Name2  5.66  4.54  8.69      7.33  0.468  -0.488 
 9 Name2  6.88  4.15  7.79      7.33  0.468  -0.488 
10 Name2  4.89  1.27  8.72      7.33  0.468  -0.488 
11 Name3  6.41  4.38  6.22     20.1  -2.15    0.118 
12 Name3  5.06  3.28  9.42     20.1  -2.15    0.118 
13 Name3  6.25  3.16  8.15     20.1  -2.15    0.118 
14 Name3  6.03  3.63  7.78     20.1  -2.15    0.118 
15 Name3  6.51  1.46  5.90     20.1  -2.15    0.118 

【讨论】:

  • 一旦我将数据框添加到 coef 公式中,您的建议就可以正常工作:coef(lm(val3~val1+val2), data = .
猜你喜欢
  • 2012-08-14
  • 1970-01-01
  • 2020-08-20
  • 2018-03-23
  • 1970-01-01
  • 2021-08-20
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多