高效的矩阵向量乘法：直接在 Python 中进行多线程与使用 ctypes 绑定多线程 C 函数

Question

我有一个简单的问题：将矩阵乘以向量。但是，乘法的实现很复杂，因为矩阵是 18 GB（3000^2 x 500）。

一些信息：

• 矩阵以 HDF5 格式存储。这是 Matlab 的输出。它很密集，所以那里没有稀疏节省。
• 在我的算法（MCMC 贝叶斯反演）过程中，我必须进行大约 2000 次矩阵乘法
• 我的程序是 Python 和 C 的组合，其中 Python 代码处理大部分 MCMC 过程：跟踪随机游走、生成扰动、检查 MH 标准、保存已接受的提案、监控倦怠等。C代码被简单地编译成一个单独的可执行文件，并在我需要解决前向（声波）问题时调用。 Python 和 C 之间的所有通信都是通过文件系统完成的。所有这一切都是说我还没有 ctype 的东西。
• C 程序已经使用 MPI 并行化，但我认为这不是解决这个 MV 乘法问题的合适解决方案。
• 我们的程序主要在 linux 上运行，但偶尔在 OSX 和 Windows 上运行。没有太多令人头疼的跨平台功能是必须的。

现在我有一个单线程实现，其中 python 代码一次读取矩阵几千行并执行乘法。然而，这对我的程序来说是一个重要的瓶颈，因为它需要很长时间。我想对它进行多线程处理以加快速度。

我正在尝试了解 python 处理多线程并继续使用 numpy 操作进行乘法运算或编写代码是否会更快（计算时间，而不是实现时间） C中多线程的MV乘法函数并将其与ctypes绑定。

我可能会同时做这两件事并为它们计时，因为从一个运行时间极长的程序中节省时间很重要。不过，我想知道是否有人以前遇到过这种情况，并且有任何见解（或者可能有其他建议？）

作为一个附带问题，我只能找到用于 m-v 乘法的 nxn 矩阵的算法改进。有谁知道可以在 mxn 矩阵上使用的一种？

Answer 1

硬件

正如 Sven Marnach 在 cmets 中所写，您的问题很可能是 I/O 受限，因为磁盘访问比 RAM 访问慢几个数量级。

所以最快的方法可能是让机器有足够的内存来保存整个矩阵乘法并将结果保存在 RAM 中。如果只读取一次矩阵，将节省大量时间。

用 SSD 替换硬盘也会有所帮助，因为这样可以更快地读取和写入。

软件

除此之外，为了加快从磁盘读取的速度，您可以使用mmap 模块。这应该会有所帮助，尤其是当操作系统发现您一遍又一遍地读取同一文件的片段并开始将其保存在缓存中时。

由于可以按行进行计算，您可能受益于将numpy 与multiprocessing.Pool 结合使用进行该计算。但只有当单个进程不能使用所有可用的磁盘读取带宽时。