Matlab重复矩阵乘法 - 循环与内置性能

Question

给定一个矩阵A，我需要与其他n 向量Bi（即i=1...n）相乘。 A 的大小可以类似于5000x5000，因此Bi 可以类似于5000x1。

如果我按以下方式评估产品：

for i=1:n
    product=A*Bi;
    % do something with product
end

结果是比计算产品慢的方式（数量级），例如：

%assume that S is a matrix that contains the vectors Bi as columns, i.e. S(:,i)=Bi, then:
results=A*S;   %stores all the products in matrix form
% do something with results

问题是向量Bi 的数量n 可能太大而无法存储在内存中，例如n=300000，所以我需要使用循环方法，每次评估产品时，使用然后丢弃向量Bi。

为什么这种方法比直接乘法慢，有没有办法克服这个问题？

Answer 1

为了将每个数组与矩阵相乘，只需将矩阵乘以一个矩阵，该矩阵将以您想要的数组作为列。

所以如果你想检查这个

如果

size(a)=3,3

然后

 a*b==horzcat(a*b(:,1),a*b(:,2),a*b(:,3)) 

是真的

这样可以节省大量的循环时间

Answer 2

除了@Dan's answer，您还可以尝试并行化，前提是您有足够的内核和足够大的操作以使其盈利（有关parfor 内存消耗的更多详细信息，请参阅this answer）：

parfor ii = 0:(n/k)-1
    product = A*S(:,(ii*k+1):(ii+1)*k)
end

我在docs on mtimes（* 运算符）中看不到它是否是隐式多线程的，但我想值得一试。

Answer 3

例如，您可以尝试对批次进行循环

for i = 0:(n/k)-1
    product = A*S(:,(i*k+1):(i+1)*k)
end

并调整 k 以找到适合您的速度和内存的最佳平衡点。

MATLAB 的循环很慢，因为它是一种解释型语言。所以它必须在飞行中解决很多事情。这些天来，由于 JIT 编译器，循环得到了极大的改进，但与用 C 编写和编译的内置函数相比，它们仍然很慢。此外，它们使用了非常先进的超快速矩阵乘法算法，相比之下使用您通过循环实现的相当幼稚的算法，这也有助于您体验到的加速。

Answer 4

为简单起见，我的答案将假设一个 n×n 方阵 A，但对于非方阵也是如此。

您的循环方法使用矩阵向量乘法。朴素的解决方案也是最著名的，导致运行时间为 O(n^2)，重复 n 次。您最终的总运行时间为 O(n^3)。

对于矩阵乘法，有更好的方法。最有名的算法只需要很少少于 O(n^2.4) 的运行时间，这使得它在处理大量数据时要快得多。

使用矩阵乘法一次将多个向量 Bi 相乘时，您将获得更好的运行时间。这不会达到纯矩阵乘法的性能，但使用更大的 b 切片可能是最快的内存效率解决方案。

不同讨论方法的一些代码：

n=5000;
k=100;
A=rand(n,n);
S=rand(n,n);
workers=matlabpool('size');
%for a parfor solution, the batch size must be smaller because multiple batches are stred in memory at once
kparallel=k/workers;
disp('simple loop:');
tic;
for i = 1:n
    product = A*S(:,n);
end
toc
disp('batched loop:');
tic;
for i = 1:(n/k)
    product = A*S(:,(i-1)*k+1:(i)*k);
end
toc
disp('batched parfor loop:');
tic;
parfor i = 1:(n/kparallel)
    product = A*S(:,(i-1)*kparallel+1:(i)*kparallel);
end
toc
disp('matrix multiplication:');
tic;
A*S;
toc