使用 R 中另一个变量的线性回归的斜率来估算单个变量的缺失数据

Question

这是我的数据集 (df8) 的摘录，其中包含 194 个国家/地区从 2000 年到 2018 年的时间序列。

   iso3   year   anc4 median
   <chr> <dbl>  <dbl>  <dbl>
 1 BIH    2000 NA      0.739
 2 BIH    2001 NA      0.746
 3 BIH    2002 NA      0.763
 4 BIH    2003 NA      0.778
 5 BIH    2004 NA      0.842
 6 BIH    2005 NA      0.801
 7 BIH    2006 NA      0.819
 8 BIH    2007 NA      0.841
 9 BIH    2008 NA      0.845
10 BIH    2009 NA      0.840
11 BIH    2010  0.842  0.856
12 BIH    2011 NA      0.873
13 BIH    2012 NA      0.867
14 BIH    2013 NA      0.889
15 BIH    2014 NA      0.879
16 BIH    2015 NA      0.883
17 BIH    2016 NA      0.854
18 BIH    2017 NA      0.891
19 BIH    2018 NA      0.920
20 BWA    2000 NA      0.739
21 BWA    2001 NA      0.746
22 BWA    2002 NA      0.763
23 BWA    2003 NA      0.778
24 BWA    2004 NA      0.842
25 BWA    2005 NA      0.801
26 BWA    2006  0.733  0.819
27 BWA    2007 NA      0.841
28 BWA    2008 NA      0.845
29 BWA    2009 NA      0.840
30 BWA    2010 NA      0.856
31 BWA    2011 NA      0.873
32 BWA    2012 NA      0.867
33 BWA    2013 NA      0.889
34 BWA    2014 NA      0.879
35 BWA    2015 NA      0.883
36 BWA    2016 NA      0.854
37 BWA    2017 NA      0.891
38 BWA    2018 NA      0.920

我想做的是使用基于区域中位数（中位数）的线性回归的斜率来估算变量 anc4 的缺失数据。我想在国家一级这样做，因为每个国家不属于同一个地区。

这是我尝试过的..

df_model <-  df8

predictions <- vector()

for(i in unique(df_model$iso3)) {
  temp <- df_model[df_model[,2]==i,]
  predictions <- c(predictions,predict(lm(median~year,temp),df8[is.na(df8$anc4) & df8$iso3==i,]))
}

df8[is.na(df8$anc4),]$anc4 <- predictions

我使用了我在使用观察到的 anc4 数据点的线性回归来估算缺失的 anc4 数据时一直使用的代码，并尝试使用中位数对其进行调整..但效果不佳！

非常感谢！

Answer 1

您的上一条评论清楚地说明了您的问题：您从中位数的线性回归中得到斜率，并从唯一的非缺失值中得到截距。

但是，您的代码中有一个相当严重的缺陷：您永远不应该在 for 循环内增长向量。使用*apply 函数，或者更好地使用purrr 包中的*map 函数。如果你有充分的理由使用for 循环，至少要预先分配它的大小。

由于您从模型外部获取截距，因此您不能在此处使用predict。幸运的是，使用线性模型时，手动预测相当简单。

这是我使用dplyr 语法的解决方案。如果您不熟悉它，我建议您阅读它（例如there）

x=df_model %>% 
  group_by(iso3) %>% 
  mutate(
    slope=lm(median~year)$coefficients["year"],
    intercept=anc4[!is.na(anc4)]-slope*year[!is.na(anc4)],
    anc4_imput = intercept+year*slope,
    anc4_error = anc4-anc4_imput,
  )


x
#> # A tibble: 38 x 8
#> # Groups:   iso3 [2]
#>    iso3   year  anc4 median   slope intercept anc4_imput anc4_error
#>    <fct> <int> <dbl>  <dbl>   <dbl>     <dbl>      <dbl>      <dbl>
#>  1 BIH    2000    NA  0.739 0.00844     -16.1      0.758         NA
#>  2 BIH    2001    NA  0.746 0.00844     -16.1      0.766         NA
#>  3 BIH    2002    NA  0.763 0.00844     -16.1      0.774         NA
#>  4 BIH    2003    NA  0.778 0.00844     -16.1      0.783         NA
#>  5 BIH    2004    NA  0.842 0.00844     -16.1      0.791         NA
#>  6 BIH    2005    NA  0.801 0.00844     -16.1      0.800         NA
#>  7 BIH    2006    NA  0.819 0.00844     -16.1      0.808         NA
#>  8 BIH    2007    NA  0.841 0.00844     -16.1      0.817         NA
#>  9 BIH    2008    NA  0.845 0.00844     -16.1      0.825         NA
#> 10 BIH    2009    NA  0.84  0.00844     -16.1      0.834         NA
#> # ... with 28 more rows

#error is negligible 
x %>% filter(!is.na(anc4))
#> # A tibble: 2 x 8
#> # Groups:   iso3 [2]
#>   iso3   year   anc4 median   slope intercept anc4_imput anc4_error
#>   <fct> <int>  <dbl>  <dbl>   <dbl>     <dbl>      <dbl>      <dbl>
#> 1 BIH    2010  0.842  0.856 0.00844    -16.1       0.842   1.22e-15
#> 2 BWA    2006 10.7   10.8   0.00844     -6.20     10.7     0.

#Created on 2020-06-12 by the reprex package (v0.3.0)