提高将 numpy 数组转换为 MATLAB double 的性能

Question

从 Python 调用 MATLAB 势必会降低一些性能，而我可以通过在 Python 中重写（大量）代码来避免这种情况。然而，这对我来说不是一个现实的选择，但让我很恼火的是，从 numpy 数组到 MATLAB double 的简单转换导致效率的巨大损失。

我说的是下面从data1到data1m的转换，其中

data1 = np.random.uniform(low = 0.0, high = 30000.0, size = (1000000,))
data1m = matlab.double(list(data1))

这里的 matlab.double 来自 Mathworks 自己的 MATLAB 包/引擎。第二行代码在我的系统上花费了 20 秒，这对于除了使 MATLAB 的数字“可食用”之外并没有真正做任何事情的转换来说似乎太多了。

所以基本上我正在寻找一种与给定here 相反的技巧，用于将 MATLAB 输出转换回 Python。

Answer 1

高效传递 numpy 数组

查看文件夹PYTHONPATH\Lib\site-packages\matlab\_internal 中的文件mlarray_sequence.py。在那里你会发现 MATLAB 数组对象的构造。性能问题来自于在generic_flattening 函数中使用循环复制数据。

为避免这种行为，我们将稍微编辑文件。此修复程序应适用于复杂和非复杂数据类型。

1. 备份原始文件以防出现问题。

2. 在文件开头的其他导入中添加import numpy as np

3. 在第 38 行你应该找到：

   init_dims = _get_size(initializer)
   

   将其替换为：

   try:
       init_dims=initializer.shape
   except:
       init_dims = _get_size(initializer)
   

4. 在第 48 行你应该找到：

   if is_complex:
       complex_array = flat(self, initializer,
                            init_dims, typecode)
       self._real = complex_array['real']
       self._imag = complex_array['imag']
   else:
       self._data = flat(self, initializer, init_dims, typecode)
   

   将其替换为：

   if is_complex:
       try:
           self._real = array.array(typecode,np.ravel(initializer, order='F').real)
           self._imag = array.array(typecode,np.ravel(initializer, order='F').imag)
       except:
           complex_array = flat(self, initializer,init_dims, typecode)
           self._real = complex_array['real']
           self._imag = complex_array['imag']
   else:
       try:
           self._data = array.array(typecode,np.ravel(initializer, order='F'))
       except:
           self._data = flat(self, initializer, init_dims, typecode)
   

现在您可以将 numpy 数组直接传递给 MATLAB 数组创建方法。

data1 = np.random.uniform(low = 0.0, high = 30000.0, size = (1000000,))
#faster
data1m = matlab.double(data1)
#or slower method
data1m = matlab.double(data1.tolist())

data2 = np.random.uniform(low = 0.0, high = 30000.0, size = (1000000,)).astype(np.complex128)
#faster
data1m = matlab.double(data2,is_complex=True)
#or slower method
data1m = matlab.double(data2.tolist(),is_complex=True)

MATLAB 数组创建的性能提高了 15 倍，界面现在更易于使用。

Answer 2

在等待更好的建议的同时，我将发布迄今为止我想出的最佳技巧。归结为使用 `scipy.io.savemat´ 保存文件，然后在 MATLAB 中加载此文件。

这不是最漂亮的 hack，它需要小心确保依赖同一脚本的不同进程不会最终写入和加载彼此的 .mat 文件，但性能提升对我来说是值得的。

作为一个测试用例，我编写了两个简单、几乎相同的 MATLAB 函数，它们需要 2 个 numpy 数组（我用长度 1000000 进行测试）和一个 int 作为输入。

function d = test(x, y, fs_signal)
d = sum((x + y))./double(fs_signal);

function d = test2(path)
load(path)
d = sum((x + y))./double(fs_signal);

函数test需要转换，而test2需要保存。

测试test：在我的系统上转换两个 numpy 数组需要 cirka 40 秒。准备和运行测试的总时间降至 170 秒

测试test2：在我的系统上保存数组和 int 需要 cirka 0.35 秒。令人惊讶的是，在 MATLAB 中加载 .mat 文件非常高效（或者更令人惊讶的是，它在处理双精度数据时效率极低）...准备和运行 test2 的总时间降至 0.38 s

这几乎是 450 倍的性能提升...

Answer 3

我的情况有点不同（从 matlab 调用的 python 脚本），但对我来说，将 ndarray 转换为 array.array 大大加快了这个过程。基本上它与 Alexandre Chabot 解决方案非常相似，但无需更改任何文件：

#untested i.e. only deducted from my "matlab calls python" situation
import numpy
import array

data1 = numpy.random.uniform(low = 0.0, high = 30000.0, size = (1000000,))
ar = array.array('d',data1.flatten('F').tolist())
p = matlab.double(ar)
C = matlab.reshape(p,data1.shape) #this part I am definitely not sure about if it will work like that

至少如果从 Matlab 完成，“array.array”和“double”的组合相对较快。使用 Matlab 2016b + python 3.5.4 64bit 测试。