在 Matlab 中处理一个非常大且稀疏的矩阵

Question

我有一个非常大且稀疏的矩阵，表示为 CSV 文件 (67 GB)。

是否可以在 Matlab 中加载和使用该矩阵？我可以在 MAC OS 计算机上使用 64 位版本，8GB RAM。

我已经阅读了一些关于这个主题的帖子，但我仍然不确定 Mac OS 上的 Matlab 64 位是否可以使用磁盘空间来分配矩阵或需要 RAM 中的所有内容，无论如何，如果使用这么大的部分磁盘空间的占用可能会使东西几乎无法使用。

Answer 1

听起来内存映射是适合您的解决方案！

http://www.mathworks.nl/help/matlab/memory-mapping.html

本质上，您映射文件的位置，以便您可以按部分访问它（一种索引，但我想是在您的硬盘驱动器上）。完成此操作后，根据矩阵的稀疏性（稀疏性？），您可能希望切换到希望适合您的 RAM 的稀疏矩阵，这样您就可以利用 RAM 的速度而不再局限于 HDD 速度。

另一种解决方案是逐行（或其他定界数量）读取文件并仅将非零值放入稀疏矩阵中。

http://www.mathworks.nl/help/matlab/ref/fgetl.html

http://www.mathworks.nl/help/matlab/ref/sparse.html

亲切的问候，

恩斯特·扬

好的，所以当使用 fgetl 解决方案时，我得到了合理的性能。大约。在我的笔记本电脑上每 100 行 10 秒。

% Start with a clean slate.
clear all
% Create a data file, large!
m = 100; % Rows
n = 230000; % Columns
max_x = 10000;
X=randi(max_x,m,n); 
% Create lots of zeros by setting everything smaller 0.999 x_max to 0;
X(X<0.999*max_x)=0;
% Write data file
csvwrite('csvlist.dat',X);

% Now create a sparse matrix to put the csv file in:
P = sparse(m,n);

% Open data file
FID=fopen('csvlist.dat','r');
% Set line number counter to 0
line_number = 0;
% Get the first line of the data file (230K numbers)
text_line = fgetl(FID);
    % If a text line has been retrieved from the line keep looping!
    tic
    while ischar(text_line)
        % Increase to line_number with 1 (MATLAB index starts at 1..)
        line_number = line_number+1;
        % Analyse the first text line (I assume all integers, otherwise change the format %d to %f)
        C = textscan(text_line,'%d','delimiter',',','EmptyValue', 0);
        % Now the number are stored in cell C. Which we should put in the
        % sparse matrix:
        P(line_number,:)=C{1}; % Can be optimized but forgot how but fast enough for now!
        % And let's get the next line!
        text_line = fgetl(FID);
    end
    toc
    fclose(FID);

所以 230k 行大约需要 5 到 10 个小时。

亲切的问候，

恩斯特·扬

Answer 2

基于this link 我会说matlab绝对可以保存大多数计算机上存储在矩阵中的数据量。 （我猜你描述的矩阵甚至应该适合 RAM）。要查找计算机的限制，请使用memory 命令。

话虽如此，创建此矩阵的难点在于读取文件。正如@EJG89 的回答中提到的，您可能需要对fgetl 使用逐行方法，因为我不希望像dlmread 这样的更高级别的命令能够以合理的方式处理如此巨大的文件。

如果一切都失败了，只需在处理之前找到一种方法来拆分文件。