将 C++ 程序输出与 Python 脚本链接

Question

我有一个 C++ 程序，它使用一些非常具体的方法来计算数据集（30,000 个元素）的成对距离。输出文件为 20 GB，如下所示：

点1，点2，距离x pointi, pointj, distancexx ......

然后我将文件输入到 Python 并使用 Python (NumPy) 进行聚类。使用 Python 读取输出文件需要很长时间。有没有办法将 C++ 程序直接与我的 Python 代码连接以节省中间文件的 I/O 时间？也许使用 SWIG？

Answer 1

我假设您一直在保存 ascii。您可以修改您的 C++ 代码以编写二进制文件，然后使用 numpy.fromfile 读取它。

为了更直接的连接，您可以使用 swig 将您的 C++ 代码包装为一个库（删除 main() 并从 Python 驱动它）。这允许您在 C++ 和 Python 之间共享数组的内存。

您可以在 C++ 端使用 Python 的 buffer protocol 以及在 Python 端使用 numpy.frombuffer。或者您可以使用numpy headers 直接在 C++ 中处理 numpy 数组。这是使用第二种方法的小swig example project。 （免责声明：我写的。）