【发布时间】:2016-04-26 01:20:35
【问题描述】:
我正在尝试优化一个被多次调用(数百万次)的 sn-p,因此任何类型的速度改进(希望删除 for 循环)都会很棒。
我正在计算第 j 个粒子与所有其他粒子的相关函数
C_j(|r-r'|) = sqrt(E((s_j(r')-s_k(r))^2)) 在 k 上平均。
我的想法是有一个变量 corrfun 将数据分箱到一些箱中(r,在其他地方定义)。我找到每个 s_k 属于 r 的哪个 bin,并将其存储在 ind 中。所以 ind[0] 是 j=0 点对应的 r 的索引(因此也是 corrfun)。多个点可以落入同一个 bin(实际上我希望 bin 足够大以包含多个点)所以我将所有 (s_j(r')-s_k(r))^2 加在一起,然后除以该 bin 中的点(存储在变量 rw 中)。我最终为此编写的代码如下(np 用于 numpy):
for k, v in enumerate(ind):
if j==k:
continue
corrfun[v] += (s[k]-s[j])**2
rw[v] += 1
rw2 = rw
rw2[rw < 1] = 1
corrfun = np.sqrt(np.divide(corrfun, rw2))
注意,rw2 业务是因为我想避免除以 0 的问题,但我确实返回了 rw 数组,并且我希望能够区分 rw=0 和 rw=1 元素。也许还有一个更优雅的解决方案。
有没有办法让 for 循环更快?虽然我不想添加自我交互 (j==k),但我什至可以进行自我交互,如果这意味着我可以获得更快的计算速度(ind 的长度 ~ 1E6 所以自我交互可能无论如何都无关紧要)。
谢谢!
伊利亚
编辑:
这是完整的代码。请注意,在完整代码中,我也对 j 进行平均。
import numpy as np
def twopointcorr(x,y,s,dr):
width = np.max(x)-np.min(x)
height = np.max(y)-np.min(y)
n = len(x)
maxR = np.sqrt((width/2)**2 + (height/2)**2)
r = np.arange(0, maxR, dr)
print(r)
corrfun = r*0
rw = r*0
print(maxR)
''' go through all points'''
for j in range(0, n-1):
hypot = np.sqrt((x[j]-x)**2+(y[j]-y)**2)
ind = [np.abs(r-h).argmin() for h in hypot]
for k, v in enumerate(ind):
if j==k:
continue
corrfun[v] += (s[k]-s[j])**2
rw[v] += 1
rw2 = rw
rw2[rw < 1] = 1
corrfun = np.sqrt(np.divide(corrfun, rw2))
return r, corrfun, rw
我通过以下方式调试测试
from twopointcorr import twopointcorr
import numpy as np
import matplotlib.pyplot as plt
import time
n=1000
x = np.random.rand(n)
y = np.random.rand(n)
s = np.random.rand(n)
print('running two point corr functinon')
start_time = time.time()
r,corrfun,rw = twopointcorr(x,y,s,0.1)
print("--- Execution time is %s seconds ---" % (time.time() - start_time))
fig1=plt.figure()
plt.plot(r, corrfun,'-x')
fig2=plt.figure()
plt.plot(r, rw,'-x')
plt.show()
同样,主要问题是在真实数据集 n~1E6 中。当然,我可以重新采样以使其更小,但我很想真正浏览数据集。
【问题讨论】:
-
你能提供一个完整的程序,包括设置步骤吗?
-
当然,我现在将编辑完整的帖子。好的,代码现在已经启动了
-
谢谢。顺便说一句,为什么是
range(0, n-1)而不是range(0, n)? -
这可能用于
add.at- 通常添加的无缓冲版本。 docs.scipy.org/doc/numpy-1.10.1/reference/generated/…
标签: python for-loop numpy enumerate