【问题标题】:How can I make this loop faster in R?如何在 R 中使这个循环更快?
【发布时间】:2018-12-25 04:28:03
【问题描述】:

我编写了这个 R 代码,在 R 中运行大约需要 15 分钟。

  • mergNet 是一个维度为 23715660 * 5 的矩阵;
  • cosine_sim、A、ug_sim、avg_usim和avg_unov已经计算好了,都是矩阵;
  • users 是一个标量常数,等于 943;
  • weight 的计算取决于两个条件;
  • cosine_sim,A 和 ug_sim 的尺寸为 943*943;
  • avg_usim 和 avg_unov 的尺寸为 943*1682。

如何更改此代码,使其运行得更快?

weight = matrix(0,nrow= nrow(mergNet), ncol=1)
for (i in 1:nrow(mergNet)){
  temp1 = mergNet[i,1]
  temp2 = mergNet[i,3]
  mid = mergNet[i,2]
  if(temp1<944 && temp2<944)#u_u
  {
    weight[i,1]= (cosine_sim[temp1,temp2])* A[temp1,temp2] * ug_sim[temp1,temp2]

  }
  if (temp1>943 && temp2>943){
    weight[i,1] = avg_usim[mid , temp2-users] * (avg_unov[mid, temp2-users]) 
  }
  }
}

mergNet的前十行:

   src1 dst1 dst2   id1    id2
1   962    1 1186 53230  91038
2   962    1 1032 53230 156361
3   962    1 1116 53230  85937
4   962    1 1118 53230 107437
5   962    1 1150 53230 119957
6   962    1 1187 53230 101035
7   962    1 1188 53230 150941
8   962    1  962 53230 133230
9   962    1 1169 53230 116318
10  962    1 1101 53230 103387

A的前十行和前十列:

           [,1]      [,2]      [,3] [,4]      [,5]      [,6]      [,7]  [,8]      [,9]     [,10]
 [1,] 0.0000000 0.7291667 0.9019608 0.80 0.5869565 0.6583851 0.7038217 0.575 0.8333333 0.6827586
 [2,] 0.9380952 0.0000000 0.8235294 0.75 0.9710145 0.8757764 0.9713376 0.950 0.7777778 0.9379310
 [3,] 0.9761905 0.8125000 0.0000000 0.50 0.9927536 0.9440994 0.9649682 0.850 0.8888889 0.9517241
 [4,] 0.9809524 0.8958333 0.8039216 0.00 0.9927536 0.9627329 0.9808917 0.900 0.9444444 0.9862069
 [5,] 0.7285714 0.9166667 0.9803922 0.95 0.0000000 0.8509317 0.8057325 0.775 0.8888889 0.8344828
 [6,] 0.7380952 0.5833333 0.8235294 0.70 0.8260870 0.0000000 0.7324841 0.725 0.5000000 0.6275862
 [7,] 0.5571429 0.8125000 0.7843137 0.70 0.5579710 0.4782609 0.0000000 0.475 0.5000000 0.4965517
 [8,] 0.9190476 0.9583333 0.8823529 0.80 0.9347826 0.9316770 0.9331210 0.000 1.0000000 0.9310345
 [9,] 0.9857143 0.9166667 0.9607843 0.95 0.9855072 0.9440994 0.9713376 1.000 0.0000000 0.9241379
[10,] 0.7809524 0.8125000 0.8627451 0.90 0.8260870 0.6645963 0.7675159 0.750 0.3888889 0.0000000

cosine_sim 和 ug_sim 与 A 类似。

avg_usim的前十行和列:

            [,1]       [,2]       [,3]       [,4] [,5] [,6]        [,7]       [,8]       [,9]      [,10]
 [1,] 0.00000000 0.09284909 0.08681234 0.00000000    0    0 0.063968603 0.06623507 0.05759746 0.07562590
 [2,] 0.00000000 0.00000000 0.00000000 0.00000000    0    0 0.000000000 0.00000000 0.00000000 0.00000000
 [3,] 0.00000000 0.00000000 0.00000000 0.00000000    0    0 0.000000000 0.00000000 0.00000000 0.00000000
 [4,] 0.00000000 0.00000000 0.00000000 0.00000000    0    0 0.000000000 0.00000000 0.00000000 0.00000000
 [5,] 0.03792794 0.00000000 0.00000000 0.00000000    0    0 0.000000000 0.00000000 0.00000000 0.00000000
 [6,] 0.00000000 0.00000000 0.00000000 0.00000000    0    0 0.034380897 0.04893480 0.03765768 0.00000000
 [7,] 0.00000000 0.00000000 0.00000000 0.06751437    0    0 0.046987708 0.06087732 0.04545343 0.04983857
 [8,] 0.00000000 0.00000000 0.00000000 0.00000000    0    0 0.000000000 0.00000000 0.00000000 0.00000000
 [9,] 0.00000000 0.00000000 0.00000000 0.00000000    0    0 0.005074253 0.00000000 0.00000000 0.00000000
[10,] 0.03665521 0.00000000 0.00000000 0.05438324    0    0 0.041738325 0.00000000 0.00000000 0.00000000

还有avg_unov 类似于avg_usim。

【问题讨论】:

  • 能否提供样本数据?我有一个想法,但不知道如何进行。
  • 我在问题版本中添加了前十行 mergNet 数据。谢谢
  • yes users 是一个常数标量。
  • 请按照@akash87 的要求提供一些示例数据。
  • 请提供可复制/可粘贴示例数据。图片是一种糟糕的数据共享方式。

标签: r performance loops vectorization


【解决方案1】:

解决方案是对循环进行矢量化,并选择子集并分配所需的值。需要使用 purrr 库中的 map2 将选定的行映射到矩阵。

weight = matrix(0,nrow= nrow(mergNet), ncol=1)

temp1 = mergNet[ ,1]
temp2 = mergNet[ ,3]
mid = mergNet[ ,2]

library(purrr)
#find rows where cond1 is true
cond1<-which((temp1<944) & (temp2<944))
#map the temp1 and temp2 to matrix
weight[cond1, 1]<-unlist(map2(temp1[cond1], temp2[cond1], function(i, j){(cosine_sim[i,j])* A[i,j] * ug_sim[i,j]}))

#find rows where cond2 is true 
cond2<-which((temp1>943) & (temp2>943))
weight[cond2, 1]<-unlist(map2(mid[cond2], temp2[cond2], function(i, j){avg_usim[i , j-users] * (avg_unov[i, j-users])}))

没有任何数据,很难测试这个解决方案。

【讨论】:

  • cosine_sim 是维度为 943*943 的矩阵。所以这段代码将导致“cosine_sim[temp1, temp2] 中的错误:下标越界”。我该如何解决这个问题?
  • 我在 cond1 为真的代码的第一部分收到此错误,“权重 [cond2, 1]
  • 现在似乎可以工作了,但是计算整个权重向量大约需要 2 分钟。有什么办法让它跑得更快?
  • 以下代码只需一秒钟即可运行,因此它是更高效的代码:weight3 &lt;- matrix(0, nrow(mergNet), 1) temp1 = mergNet[ ,1] temp2 = mergNet[ ,3] mid = mergNet[ ,2] cond1 &lt;- temp1 &lt; 944 &amp; temp2 &lt; 944 IND1 &lt;- cbind(mergNet[cond1, 1], mergNet[cond1, 3]) weight3[cond1, 1] &lt;- cosine_sim[IND1] * A[IND1] * ug_sim[IND1] cond2 &lt;- temp1 &gt; 943 &amp; temp2 &gt; 943 IND2 &lt;- cbind(mergNet[cond2, 2], mergNet[cond2, 3] - users) weight3[cond2, 1] = avg_usim[IND2] * avg_unov[IND2]
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-07-25
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多