如何查看 MATLAB 中变量使用的实际内存？

Question

我想知道在尝试使用 MATLAB 的写时复制（延迟复制）机制来链接来自单元格数组中多个单元格的相同大矩阵时，是否有办法查看我是否做对了.

例如：

img = randn(500);
[dx,dy] = gradient(img);
S = cell(2,2);
S{1,1} = dx.^2;
S{2,2} = dy.^2;
S{1,2} = dx.*dy;
S{2,1} = S{1,2};  % should be a reference, as long as not modified

但是看看whos的输出：

>> whos
  Name        Size               Bytes  Class     Attributes

  S           2x2              8000448  cell                
  dx        500x500            2000000  double              
  dy        500x500            2000000  double              
  img       500x500            2000000  double              

我希望S 占用 6 MB，而不是 8 MB。

有没有办法验证程序中没有错误，并且这两个单元格最后仍然引用同一个数组？

我知道函数memory，但遗憾的是它只适用于 Windows 平台（我在 MacOS 上）。

Answer 1

验证两个特定数组是否实际共享数据的一种可能解决方案是使用以下从 Yair's Undocumented MATLAB Blog 修改的 MEX 文件：

#include "mex.h"
#include <cstdint>
void mexFunction( int /*nlhs*/, mxArray* plhs[], int nrhs, mxArray const* prhs[]) {
   if (nrhs < 1) mexErrMsgTxt("One input required.");
   plhs[0] = mxCreateNumericMatrix(1, 1, mxUINT64_CLASS, mxREAL);
   std::uint64_t* out = static_cast<std::uint64_t*>(mxGetData(plhs[0]));
   out[0] = reinterpret_cast<std::uint64_t>(mxGetData(prhs[0]));
}

将其保存为 getaddr.cpp 并使用编译

mex getaddr.cpp

允许以下测试：

img = randn(500);
[dx,dy] = gradient(img);
S = cell(2,2);
S{1,1} = dx.^2;
S{2,2} = dy.^2;
S{1,2} = dx.*dy;
S{2,1} = S{1,2};  % should be a reference, as long as not modified

assert(getaddr(S{1,2}) == getaddr(S{2,1}))

这与获取结构 S 实际使用的内存的摘要不同（我仍然认为这很有用），但它确实允许验证内存是否共享。

Answer 2

编辑：

在编辑答案之前，我使用了一个未记录的函数，该函数具有意外行为，并且其签名在不同版本的 MATLAB 之间不稳定，因此在这里我提供了@CrisLuengo 答案的扩展版本。

我们可以使用哈希映射将数据元素的唯一地址及其关联的mxArrays 存储在递归函数check_shared 中，并获取数据的大小。请注意，这里我们可以检查单元格中的共享状态，我们不能检查单元格外部且与单元格元素具有相同地址的元素。*

#include "mex.h"
#include <unordered_map>
typedef std::unordered_map<void *,const mxArray *> TableType;

TableType check_shared(const mxArray* arr, TableType table = TableType())
{
    switch (mxGetClassID(arr)) {
        case mxCELL_CLASS:
            for(int i = 0; i < mxGetNumberOfElements (arr); i++) {
                table  = check_shared(mxGetCell (arr,i), std::move(table));
            }
            break;
        case mxSTRUCT_CLASS:
            for (int i = 0; i < mxGetNumberOfFields (arr); i++) {
                for (int j = 0; j < mxGetNumberOfElements (arr); j++) {
                    table = check_shared(mxGetFieldByNumber (arr, j, i), std::move(table));
                }
            }
            break;
        case mxVOID_CLASS:
        case mxFUNCTION_CLASS:
        case mxUNKNOWN_CLASS:
            return table;
    }
    if (!mxIsEmpty (arr)) {
        void* data = mxGetData(arr);
        table[data] = arr;
    }
    return table;
}
uint64_t actual_size(const TableType& table)
{
    uint64_t sz = 0;
    for (const auto& entry : table) {
        const mxArray * arr = entry.second;
        sz += mxGetElementSize (arr) * mxGetNumberOfElements (arr);
    }
    return sz;
}

void mexFunction(int nlhs, mxArray *plhs[],
                 int nrhs, const mxArray *prhs[])
{
    TableType table = check_shared(prhs[0]);
    plhs[0] = mxCreateNumericMatrix(1,1, mxUINT64_CLASS, mxREAL );
    uint64_t* result = static_cast<uint64_t*>(mxGetData (plhs[0]));
    result[0] = actual_size(table);
}

(*) 支持cell、struct 和数值数组等基本数据类型。对于未知的数据结构和 classdef 对象，该函数返回零。

Answer 3

“有没有办法验证程序没有错误，并且这两个单元格最后仍然引用同一个数组？”

我会尝试衡量需要多少时间。由于复制指针比复制数据更快，因此它的缩放比例应该不同。

这显示了区别：

i=500:500:5000;
t=zeros(2,length(i));
for ct=1:length(i)
    img = randn(i(ct));
    [dx,dy] = gradient(img);
    S = cell(2,2);
    S{1,1} = dx.^2;
    S{2,2} = dy.^2;
    S{1,2} = dx.*dy;
    tic;
    S{2,1} = S{1,2};  % should be a reference, as long as not modified
    t(1,ct)=toc;
    tic
    S{2,1} = S{1,2}+1; 
    t(2,ct)=toc;
end
B=(i.^2)*8;
figure(1);clf
subplot(1,2,1);
plot(t(1,:),B,'.')
xlabel('time(s)');ylabel('Bytes');
title(sprintf('reference: no relation'))

subplot(1,2,2);
a=sum(B.*t(2,:))/sum(t(2,:).^2);
plot(t(2,:),B,'.',t(2,:),a*t(2,:))
xlabel('time(s)');ylabel('Bytes');
title(sprintf('datacopy: %.2f GB/s',a/1E9))

所以程序中没有错误。 Matlab 给出了错误的单元格内存使用情况。

mex 文件和内存

所以我读了这篇文章：http://undocumentedmatlab.com/blog/matlabs-internal-memory-representation

在 matlab 2018a 中，我无法复制结果。 printmem 适用于您从 format debug 获得的指针，但 getaddr 和 printaddr 似乎不再提供相同的指针。

A=1:10
>Structure address = 7d9a3eb0
>m = 1
>n = 10
>pr = 74ed5f20
printaddr(A)
>000000007D894640

将此作为 printaddr：

/* printaddr.cpp */
#include "mex.h"
void mexFunction( int nlhs, mxArray *plhs[], int nrhs, const mxArray *prhs[]) {
   if (nrhs < 1) mexErrMsgTxt("One input required.");
   printf("%p\n", prhs[0]);
}