在数据帧上执行逐行计算时应用函数的更快替代方法[重复]

Question

我有一个包含 10,000 行和 40 列的数据框。我正在尝试对这些行中的每一行应用一个函数。对于每一行，我期望返回一个标量，它是我在这个函数中计算的统计数据的值。以下是我到目前为止所做的；

library(sandwich)

# Creating example data #

nrows=10000
ncols=40
n1=20
n2=20
df=data.frame(t(replicate(nrows, rnorm(ncols, 100, 3))))
cov=data.frame(group=as.factor(rep(c(1,2),c(n1,n2))))

# Function to evaluate on each row of df #

get_est= function(x){
mod = lm(x~cov$group)
vcov = vcovHC(mod)
coef = as.numeric(mod$coefficients[2])
se = sqrt(as.numeric(diag(vcov)[2]))
stats = coef/se
return(stats)
}

# Applying above function to full data #

t1=Sys.time()
estimates=apply(df, 1, function(x) get_est(x))
t2=Sys.time()-t1

# Time taken by apply function

Time difference of 32.10623 secs

有没有办法显着减少对完整数据实施 get_est() 的时间？ 我需要在单个 df 上加快计算速度的主要原因是因为我还有 1000 个具有相同维度的数据帧，并且我必须将此函数同时应用于每个数据帧的每一行。为了说明，下面是我正在处理的更广泛的情况；

# Creating example data

set.seed(1234)
nrows = 10000
ncols = 40
n1 = 20
n2 = 20
df.list = list()
for(i in 1:1000){
  df.list[[i]] = data.frame(t(replicate(nrows, rnorm(ncols, 100, 3))))
}

# Applying get_est() to each row and to each of data frame in df.list #

all.est = foreach(j = 1:length(df.list), .combine = cbind, .packages = 'sandwich') %dopar% {
  cov=data.frame(group=as.factor(rep(c(1,2),c(n1,n2))))
  est = apply(df.list[[j]], 1, function(x) get_est(x))
  return(est)
}

即使在并行化之后也需要数小时才能完成。我的最终目标是显着缩短获取“all.est”的时间，该“all.est”将包含 10000 行和 1000 列，其中每列都有相应数据集的统计估计值。任何帮助深表感谢！！提前致谢！

Answer 1

它在我的电脑中减半。

library(snowfall)
t1=Sys.time()
sfInit( parallel=TRUE, cpus=2 )

sfExport(list=list('get_est'))
sfLibrary('sandwich', character.only = TRUE)
sfExport('df')
sfExport('cov')


## call function using sfApply; will return values as a list object
out = sfApply(df, 1, function(x) get_est(x))

## stop parallel computing job
sfStop()
Sys.time()-t1

Time difference of 15.29727 secs