matlab中对大型非稀疏数组的有效操作

Question

我有一个行向量q 和200 元素，还有另一个行向量dij，它是pdist 函数的输出，当前有48216200 元素，但我想成为能够走得更高。我要做的操作本质上是：

t=sum(q'*dij,2);

但是，由于它试图分配一个200x48211290 数组，它抱怨这需要 70GB 的内存。因此我这样做：

t = zeros(numel(q),1);
for i=1:numel(q)
    qi = q(i);
    factor = qi*dij;
    t(i)=sum(factor);
end

但是，这需要太多时间。太多时间，我的意思是大约需要36s，这比pdist 函数所需的时间长几个数量级。有没有一种方法可以在不显式分配这么多内存的情况下加快此操作？我在这里假设，如果第一种方式可以分配内存，（作为向量操作）它会更快。

Answer 1

就加法而言，只需使用乘法的distributive property：

t = q'*sum(dij);

Answer 2

为了测试 Cris 在第一条评论中所说的内容，我创建了 3 个“.m”文件，如下所示：

vec.m：

res=sum(sin(d.*q')./(d.*q'));

forloop.m

for i=1:200
    res(i)=sum(sin(d.*q(i))./(d.*q(i)));
end

和 test.m：

clc
clear all
d=rand(4e6,1);
q=rand(200,1);
res=zeros(1,200);

forloop;
vec;
forloop;
vec;
forloop;
vec;

然后我使用了 matlab 运行和时间分析器， 结果非常令人惊讶！ ：

3 calls to forloop : ~10.5 S
3 call to vec : 15.5 S !!!

另外，当我将数据转换为单一数据时，结果是：

... forloop : 7.5 S
... vec : 8.5 S

我不知道为什么在这些情况下 for 循环更快，但至于你的问题，你可以通过在循环中生成较少的变量并使用垂直向量来加快速度（我认为）。最后将您的数据转换为单个值：

q=single(rand(200,1)); 
...