是否可以在没有 Mex 的情况下在 Matlab 中与计算并行加载数据文件

Question

我有一个 Matlab 程序，它从磁盘上的物理文件中读取大量数据并执行如下密集计算：

data = load('myfile.dat');
results = intensiveCompute(data);

计算是在 GPU 上完成的，需要很长时间。我想做的是能够在计算运行时从下一个文件加载数据（因为加载文件也是一个瓶颈）。从我目前收集的信息来看，使用 Mex 是可行的（例如 _beginthread 等......）。但是，如果可能的话，最好留在 Matlab 环境中。也许有一些方法可以在 Matlab 中产生一个线程来读取数据，另一个来执行计算。非常感谢任何帮助。

Answer 1

在this answer 中，我详细介绍了一种使用task 和job 函数进行异步执行的方法，但我认为对于简单的load，parfeval 可能是最简单的。例如，

f = parfeval(@load,1,'myfile.dat'); % asynchronous, move on to intensiveCompute
results = intensiveCompute(data);
data = fetchOutputs(f); % Blocks until complete

注意：确保在 Windows 防火墙中允许 MATLAB.exe、smpd.exe 和 mpiexec.exe 的传入连接。您应该会在启动池的第一时间收到提示（由parfeval 自动启动）。

这里有一个简单的例子来说明它是如何工作的：

>> x = magic(5);
>> save x.mat x
>> f = parfeval(@load,1,'x.mat');
Starting parallel pool (parpool) using the 'local' profile ... connected ...
>> f
f = 
 FevalFuture with properties: 

                   ID: 1
             Function: @load
                State: running
      ErrorIdentifier: 
         ErrorMessage: 

此时，我们看到命令仍在worker上运行。显然，我们可以做一些比简单地检查作业更有用的事情......但是在短暂等待后会发生以下情况：

>> f
f = 
 FevalFuture with properties: 

                   ID: 1
             Function: @load
                State: finished (unread)
      ErrorIdentifier: 
         ErrorMessage: 
>> % all done, load the data
>> data = fetchOutputs(f) % Blocks until complete
data = 
x: [5x5 double]

Answer 2

我知道您提到您希望留在 Matlab 中，并且正如 chappjc 建议您可以使用并行计算工具箱，但我们大多数人没有很多工具箱。

您的数据是否仅采用 MAT 文件格式，还是以 CSV 或 HDF5 等其他格式提供？如果您了解 Java 或可以访问可以使用它编程的人，我会建议使用 Java 线程，因为 Matlab 在 Java 上运行并且在 Java 和 MATLAB 之间具有高性能的数据编组。那么您就不必担心 MEX 文件了。