R 示例 - ddply、ave 和 merge

Question

我写了一个代码。如果你们能提出更好的方法来做我想做的事情，那就太好了。 dt 给出如下：

   SIC FYEAR AU       AT
1    1  2003  6  212.748
2    1  2003  5 3987.884
3    1  2003  4  100.835
4    1  2003  4 1706.719
5    1  2003  5    9.159
6    1  2003  7   60.069
7    1  2003  5  100.696
8    1  2003  4  113.865
9    1  2003  6  431.552
10   1  2003  7  309.109 ...

我的工作是为给定的 SIC 和 FYEAR 创建一个新列，其中 AT 百分比最高的 AU 以及最高 AT 与第二高 AT 之间的差值为 1，否则为 0。这是我的尝试做提到的事情。

a <- ddply(dt,.(SIC,FYEAR),function(x){ddply(x,.(AU),function(x) sum(x$AT))});

   SIC FYEAR AU        V1
1    1  2003  4  3412.619
2    1  2003  5 13626.241
3    1  2003  6   644.300
4    1  2003  7  1478.633
5    1  2003  9     0.003
6    1  2004  4  3976.242
7    1  2004  5  9383.516
8    1  2004  6   457.023
9    1  2004  7   456.167
10   1  2004  9   238.282

其中 V1 表示给定 SIC 和 FYEAR 的给定 AU 的所有行的总和。接下来我做：

a$V1 <- ave(a$V1, a$SIC, a$FYEAR, FUN = function(x) x/sum(x));

   SIC FYEAR AU           V1
1    1  2003  4 1.780949e-01
2    1  2003  5 7.111150e-01
3    1  2003  6 3.362420e-02
4    1  2003  7 7.716568e-02
5    1  2003  9 1.565615e-07
6    1  2004  4 2.740114e-01
7    1  2004  5 6.466382e-01
8    1  2004  6 3.149444e-02
9    1  2004  7 3.143545e-02
10   1  2004  9 1.642052e-02

V1 列现在表示每个 AU 对给定 SIC 和 FYEAR 的 AT 贡献的百分比值。接下来，

a$V2 <- ave(a$V1, a$SIC, a$FYEAR, FUN = function(x) {t<-((sort(x, TRUE))[2]); 
                                                    ifelse((x-t)> 0.1,1,0)});

   SIC FYEAR AU           V1 V2
1    1  2003  4 1.780949e-01  0
2    1  2003  5 7.111150e-01  1
3    1  2003  6 3.362420e-02  0
4    1  2003  7 7.716568e-02  0
5    1  2003  9 1.565615e-07  0
6    1  2004  4 2.740114e-01  0
7    1  2004  5 6.466382e-01  1
8    1  2004  6 3.149444e-02  0
9    1  2004  7 3.143545e-02  0
10   1  2004  9 1.642052e-02  0

给定 SIC 的 AU，以及对 AT 贡献百分比最高的 FYEAR，如果差异大于 10%，则 AU 为 1，否则为 0。

然后我将结果与原始数据 dt 合并。

dt <- merge(dt,a,key=c("SIC","FYEAR","AU"));

   SIC FYEAR AU       AT           V1 V2
1    1  2003  4 1706.719 1.780949e-01  0
2    1  2003  4  100.835 1.780949e-01  0
3    1  2003  4  113.865 1.780949e-01  0
4    1  2003  4 1491.200 1.780949e-01  0
5    1  2003  5 3987.884 7.111150e-01  1
6    1  2003  5  100.696 7.111150e-01  1
7    1  2003  5   67.502 7.111150e-01  1
8    1  2003  5 9461.000 7.111150e-01  1
9    1  2003  5    9.159 7.111150e-01  1
10   1  2003  6  212.748 3.362420e-02  0

我做的很麻烦。有没有更好的方法来做同样的事情？谢谢。

Answer 1

我不确定删除的答案是否与此相同，但您可以在几行内有效地完成。

# Simulate data
set.seed(1)
n<-1000
dt<-data.frame(SIC=sample(1:10,n,replace=TRUE),FYEAR=sample(2003:2007,n,replace=TRUE),
AU=sample(1:7,n,replace=TRUE),AT=abs(rnorm(n)))

# Cacluate proportion.
dt$prop<-ave(dt$AT,dt$SIC,dt$FYEAR,FUN=prop.table)
# Find AU with max proportion.
dt$au.with.max.prop<-
  ave(dt,dt$SIC,dt$FYEAR,FUN=function(x)x$AU[x$prop==max(x$prop)])[,1]

一切都在基地，避免merge，所以它不会那么慢。

Answer 2

这是一个使用data.table的版本：

require(data.table)
DT <- data.table(your_data_frame)
setkey(DT, SIC, FYEAR, AU)
DT[setkey(DT[, sum(AT), by=key(DT)][, V1 := V1/sum(V1), 
          by=list(SIC, FYEAR)])[, V2 := (V1 - V1[.N-1] > 0.1) * 1, 
          by=list(SIC, FYEAR)]]

DT[, sum(AT), by=key(DT)][, V1 := V1/sum(V1), by=list(SIC, FYEAR)] 部分首先将所有三列的 AT 相加，然后通过引用将列 SIC, FYEAR 的 V1 替换为 V1/sum(V1)。包装此代码的setkey 对所有四列进行排序。因此，最后一个值将始终是第二高的值（在没有重复值的情况下）。使用它，我们可以通过引用将V2 创建为：[, V2 := (V1 - V1[.N-1] > 0.1) * 1, by=list(SIC, FYEAR)]]。完成此操作后，我们可以使用 DT[.] 执行 join。

希望这会有所帮助。