numpy：高效执行数组的复杂整形

Question

我正在将供应商提供的大型二进制数组读入 2D numpy 数组 tempfid(M, N)

# load data
data=numpy.fromfile(file=dirname+'/fid', dtype=numpy.dtype('i4'))

# convert to complex data
fid=data[::2]+1j*data[1::2]

tempfid=fid.reshape(I*J*K, N)

然后我需要使用索引的非平凡映射将其重塑为 4D 数组有用 4d(N,I,J,K)。我按照以下几行使用 for 循环来执行此操作：

for idx in range(M):
    i=f1(idx) # f1, f2, and f3 are functions involving / and % as well as some lookups
    j=f2(idx)
    k=f3(idx)
    newfid[:,i,j,k] = tempfid[idx,:] #SLOW! CAN WE IMPROVE THIS?

转换为复数需要 33% 的时间，而复制这些切片 M 个切片需要剩余的 66%。无论我是在循环中一一执行此操作，还是通过 numpy.vectorizing 操作并将其应用于 arange(M)，计算索引都很快。

有没有办法加快速度？任何有关更有效的切片、复制（或不复制）等方面的帮助表示赞赏。

编辑： 正如对问题"What's the fastest way to convert an interleaved NumPy integer array to complex64?" 的回答所了解的那样，如果改用视图，则可以将转换为复杂的速度提高 6 倍：

 fid = data.astype(numpy.float32).view(numpy.complex64)

Answer 1

idx = numpy.arange(M)
i = numpy.vectorize(f1)(idx)
j = numpy.vectorize(f2)(idx)
k = numpy.vectorize(f3)(idx)

# you can index arrays with other arrays
# that lets you specify this operation in one line.    
newfid[:, i,j,k] = tempfid.T

我从未使用过 numpy 的矢量化。 Vectorize 只是意味着 numpy 会多次调用你的 python 函数。为了提高速度，您需要像我在这里展示的那样使用数组操作，而您过去常常得到复数。

编辑

问题是大小128的维度在newfid中是第一个，而在tempfid中是最后一个。这很容易通过使用 .T 进行转置。

Answer 2

这个怎么样。使用 f1,f2,f3 的矢量化版本为我们设置您的索引（不一定使用 np.vectorize，但可能只是编写一个接受数组并返回数组的函数），然后使用np.ix_：

http://docs.scipy.org/doc/numpy/reference/generated/numpy.ix_.html

获取索引数组。然后将 tempfid 重塑为与 newfid 相同的形状，然后使用np.ix_ 的结果设置值。例如：

tempfid = np.arange(10)
i = f1(idx) # i = [4,3,2,1,0]
j = f2(idx) # j = [1,0]
ii = np.ix_(i,j)
newfid = tempfid.reshape((5,2))[ii]

这会将tempfid 的元素映射到具有不同顺序的新形状上。