如何在面板数据中用 R 外推缺失数据？答案

【问题标题】：How to EXTRAPOLATE missing data with R in panel data?如何在面板数据中用 R 外推缺失数据？
【发布时间】：2020-07-06 11:42:13
【问题描述】：

在面板数据中，我想在我感兴趣的年末或开始时推断出一些 NA 值。类似问题的大多数解决方案都涉及插值。请注意，情况并非如此。

我称为“数据”的类似数据示例如下所示：

> data
   REGION YEAR  VALUE
1       A 2011     NA
2       A 2012     NA
3       A 2013     NA
4       A 2014  20.00
5       A 2015  25.00
6       A 2016  30.00
7       A 2017  35.00
8       A 2018  40.00
9       B 2011     NA
10      B 2012   0.30
11      B 2013   0.50
12      B 2014   0.70
13      B 2015   0.90
14      B 2016   0.11
15      B 2017   0.13
16      B 2018   0.15
17      C 2011 100.00
18      C 2012 101.00
19      C 2013 102.00
20      C 2014 103.00
21      C 2015 104.00
22      C 2016 105.00
23      C 2017 106.00
24      C 2018     NA

我发现的一些类似问题的解决方案：

我尝试过使用na_interpolate，但它只是重复最后一个值。我还尝试将mutate 与na.spline 结合使用，但它创建的值对于线性回归显然是错误的

我确信必须有一种简单的方法来估计这些值。

预期的结果应该是这样的：

> data
   REGION YEAR  VALUE
1       A 2011   5.00
2       A 2012  10.00
3       A 2013  15.00
4       A 2014  20.00
5       A 2015  25.00
6       A 2016  30.00
7       A 2017  35.00
8       A 2018  40.00
9       B 2011   0.10
10      B 2012   0.30
11      B 2013   0.50
12      B 2014   0.70
13      B 2015   0.90
14      B 2016   0.11
15      B 2017   0.13
16      B 2018   0.15
17      C 2011 100.00
18      C 2012 101.00
19      C 2013 102.00
20      C 2014 103.00
21      C 2015 104.00
22      C 2016 105.00
23      C 2017 106.00
24      C 2018 107.00

感谢您的帮助

【问题讨论】：

您是否在 2016 年至 2018 年的地区“B”中打错字了？

标签： r na panel-data extrapolation

【解决方案1】：

你可以这样做：

predictions <- round(predict(lm(VALUE ~ REGION * YEAR, df), newdata = df), 2)
predictions
#>      1      2      3      4      5      6      7      8      9     10 
#>   5.00  10.00  15.00  20.00  25.00  30.00  35.00  40.00   0.65   0.59 
#>     11     12     13     14     15     16     17     18     19     20 
#>   0.53   0.46   0.40   0.34   0.27   0.21 100.00 101.00 102.00 103.00 
#>     21     22     23     24 
#> 104.00 105.00 106.00 107.00 

df$VALUE[is.na(df$VALUE)] <- predictions[is.na(df$VALUE)]

这给出了预期的结果：

df
#>    REGION YEAR  VALUE
#> 1       A 2011   5.00
#> 2       A 2012  10.00
#> 3       A 2013  15.00
#> 4       A 2014  20.00
#> 5       A 2015  25.00
#> 6       A 2016  30.00
#> 7       A 2017  35.00
#> 8       A 2018  40.00
#> 9       B 2011   0.65
#> 10      B 2012   0.30
#> 11      B 2013   0.50
#> 12      B 2014   0.70
#> 13      B 2015   0.90
#> 14      B 2016   0.11
#> 15      B 2017   0.13
#> 16      B 2018   0.15
#> 17      C 2011 100.00
#> 18      C 2012 101.00
#> 19      C 2013 102.00
#> 20      C 2014 103.00
#> 21      C 2015 104.00
#> 22      C 2016 105.00
#> 23      C 2017 106.00
#> 24      C 2018 107.00

【讨论】：

谢谢！这行得通，尽管它对我的计算机来说有点慢，考虑到我的 df 有超过 10.000 个观察值，我必须对 15 个不同的变量执行此操作。我想我需要一点耐心

【解决方案2】：

对于线性外推，您可以拟合一个线性模型，然后使用predict。

data$VALUE[is.na(data$VALUE)] <- unlist(lapply(split(data, data$REGION), 
FUN=function(x) predict(lm(VALUE~YEAR, data=x), newdata=subset(x, subset=is.na(VALUE)))))

我认为你在 REGION B 上打错字了。

数据：

data <- structure(list(REGION = c("A", "A", "A", "A", "A", "A", "A", 
"A", "B", "B", "B", "B", "B", "B", "B", "B", "C", "C", "C", "C", 
"C", "C", "C", "C"), YEAR = c(2011L, 2012L, 2013L, 2014L, 2015L, 
2016L, 2017L, 2018L, 2011L, 2012L, 2013L, 2014L, 2015L, 2016L, 
2017L, 2018L, 2011L, 2012L, 2013L, 2014L, 2015L, 2016L, 2017L, 
2018L), VALUE = c(NA, NA, NA, 
20, 25, 30, 35, 40, NA, 0.3, 0.5, 0.7, 0.9, 1.1, 
1.3, 1.5, 100, 101, 102, 103, 104, 105, 106, NA)), row.names = c("1", 
"2", "3", "4", "5", "6", "7", "8", "9", "10", "11", "12", "13", 
"14", "15", "16", "17", "18", "19", "20", "21", "22", "23", "24"
), class = "data.frame")

【讨论】：

我能问一下为什么你要进行三种不同的回归，而不是只使用一个交互项——这不是获得相同结果的更复杂的方法吗？
@AllanCameron。好问题。您使用交互的解决方案要简单得多。你得到了我的投票！