C++ 向量到 Python 3.3

Question

我想从 C++ 脚本中获取一个 Python 列表，例如 [1,2,3,4]。我编写了 C++ 脚本，它返回一个向量。

如何在没有 SWIG/SIP/Cython/和其他的情况下连接两端？

将 C++ 编译为 .exe 或 elf 文件，然后从命令行调用，让 .exe 创建一个包含向量的 .txt 并使用 python 读取它会更容易吗？

我的意思是，我只需要一个来自 C++ 的非常小的函数来对大量数据进行繁重的计算。做到这一点最不痛苦和最短的方法是什么？

编辑： 举个例子。 Python 会给 C++ 一个文件名字符串（“foo.txt”），然后它将读取文件的上下文（200,000 行乘 300 列），计算缺失值，然后将每行缺失的数量返回给 Python。这会产生一个包含 200,000 个数字的列表。 两人之间如何进行这种交流？

为了完整起见，这就是我仍然想知道如何去做的事情：

• 将 python 文件名字符串传递给 C++
• 在 C++ 中接收 python 字符串
• 完成在 C++ 中创建向量
• 将向量返回给 Python
• 在 Python 中接收向量

Answer 1

现在这可能没有实际意义，我在 your other question 上发布了类似的内容，但我已将此版本改编为 Python 3.3 和 C++，而不是 Python 2.7 和 C。

如果您想取回一个 Python 列表对象，并且由于您正在构建一个可能很长（200,000 个项目）的列表，那么在 C++ 代码中构建 Python 列表可能比构建std::vector，然后将其转换为 Python 列表。

根据您其他问题中的代码，我建议使用类似这样的代码...

// foo.cpp
#include <python3.3/Python.h>
#include <fstream>
#include <string>
using namespace std;

extern "C"
{
    PyObject* foo(const char* FILE_NAME)
    {
        string line;
        ifstream myfile(FILE_NAME);
        PyObject* result = PyList_New(0);

        while (getline(myfile, line))
        {
            PyList_Append(result, PyLong_FromLong(1));
        }

        return result;
    }
}

...编译...

$ g++ -fPIC -shared -o foo.so foo.cpp -lpython3.3m

...以及使用示例...

>>> from ctypes import *
>>> foo = CDLL('./foo.so')
>>> foo.foo.restype = py_object
>>> foo.foo(b'foo.cpp')
[1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1]

...虽然如果你需要将现有的std::vector转换为Python列表，你可以通过将向量的长度传递给PyList_New()来预先分配Python列表所需的内存，然后使用@ 987654323@ 而不是 PyList_Append()。

我能想到的唯一其他方法是......

1. 要在 Python 中预先分配一块 RAM，并让 C++ 函数填写值，就像 qarma 的回答一样，但您必须提前知道要分配多少 RAM。您可以选择任意值，但鉴于事先不知道文件中的行数，这个数字可能太大或太小。

2. 在 C++ 中堆分配std::vector，并返回指向第一个元素的指针和元素的数量，但是一旦完成，您必须编写第二个函数来释放 RAM用它。

无论哪种方式，您仍然需要将“返回”数组转换为 Python 列表的开销，因此您不妨自己动手。

Answer 2

定义您的入口点extern "C" 并使用ctypes。

这里有一个例子让你开始，数据从 Python 传递，C++ 代码对数据进行排序，Python 得到结果：

#include <sys/types.h>
#include <algorithm>

extern "C" {
    void foo(float* arr, size_t len);
}

void foo(float* arr, size_t len)
{
    // if arr is input, convert to C++ array

    // crazy C++ code here
    std::sort(arr, arr+len);

    // if arr is output, convert C++ array to arr
}

将您的代码编译成一个共享对象（Linux 上的 libxxx.so，win 上的 libxxx.dll，osx 上的 libxxx.dylib），然后动态加载它并通过 ctypes 传入/传出数据：

import ctypes
import posix

# Darwin .dylib; Linux .so; Windows .dll; use sys.platform() for runtime detection
libxxx = ctypes.CDLL("./libxxx.so")
libxxx.foo.argtypes = [ctypes.POINTER(ctypes.c_float), ctypes.c_size_t]
libxxx.foo.restype = None

data = ctypes.ARRAY(ctypes.c_float, 100)()

# write someting into data[x]
import random
for i in range(100): data[i] = random.random()
print data[:3], "...", data[-3:]

libxxx.foo(data, len(data))

# read out from data[x]
print data[:3], "...", data[-3:]

ctypes 的优点在于它从 2.5 开始就与 Python 捆绑在一起，您不需要任何额外的库。

如果您想使用更高级的东西，请查看cffi。

Answer 3

你在正确的轨道上。

你有两个可执行文件吗？

最好将其保存到中间文件。锁定文件，从您的 C++ 代码写入文件。解锁并从 Python 中读取。

如果你只是想从 python 运行，你总是可以考虑扩展 python：

Extending Python with C++

也可以选择通过套接字进行，但如果您只想通过列表，这可能有点矫枉过正。

Answer 4

您可以使用 python 中的 subprocess 模块从您的 c++ exe 文件中读取输出。 例如：

c++ 文件：

#include <iostream>
using namespace std;
int main()
{
    int a[]={1,2,3,4};
    cout<<"[";
    for(int i=0; i<3; i++)
        cout<<a[i]<<",";
    cout<<a[3]<<"]";
    return 0;
}

那么你的 python 脚本将是：

import subprocess
a=subprocess.check_output("c++compiledfile")
l=eval(a)
print l

Answer 5

您可以在进程间通信中使用字符串：
使用 Python 中的 subprocess.check_output() 函数检查 C++ 程序的输出，并将文件名作为参数传递：

Python 的代码：

import subprocess
from time import clock


ti=clock()
txt_fname='foo.txt'
# pass the filename string to a c++ program, and receive vector in python
output=subprocess.check_output(["./prog", txt_fname])
result = eval(output)   # convert the str_result to a vector/list
tf=clock()

print(result)
print(format(tf-ti, '.3f'))

C++ 代码：

#include <stdio.h>
#include <stdlib.h>
#include <iostream>
#include <vector>


int main(int argc, char *argv[])
{
    // receive python string in c++
    char* txt_fname = argv[1];

/*  // read matrix from file in c++
    FILE *f_matrix = fopen(txt_fname, "r");
    // ... [done by the question's author!]
    if (f_matrix!=NULL){
        fclose(f_matrix);
    }*/

    // create the vector in c++
    int n=200000;
    std::vector<int> vect(n);
    // or:  int vect[];
    // ... [done by the question's author!]

    // return the vector to python
    std::cout << "[";
    for (int i=0; i<n; i++)
        std::cout << vect[i] << ", ";
    std::cout << "]";

    return 0;
}

编辑： 添加计时器并将“ast.literal_eval()”替换为“eval()”，因为实际上在这种情况下 eval() 更快并且它与 python 兼容3.3.