有没有办法通过 swig 在 python 中使用std::[io]fstream's？
我有一个具有以下功能的 c 类：
void readFrom(std::istream& istr);
void writeTo(std::ostream& ostr);
我想在 python 中构造一个std::ofstream 实例并将其作为
对writeTo 的参数（并为阅读做同样的事情）。
我试着做一个类似的函数
std::ostream& make_ostream(const std::string& file_name){
return std::ofstream( file_name.c_str() );
}
在 swig .i 文件中，这样这个函数就会成为界面的一部分。但是，这不起作用。由于流类不可复制，因此存在问题。
虽然std_iostream.i 似乎有助于使用通用的[io]stream 类，
它对制作我需要的文件流没有帮助。
【问题讨论】：
我对这个问题的首选解决方案是让 Python 开发人员看到的界面尽可能“Pythonic”。在这种情况下，将接受 python file 对象作为您的 ostream 和 istream 参数。
为了实现这一点，我们必须编写一个类型映射来设置每个映射。
我编写了以下头文件来演示这一点：
#ifndef TEST_HH
#define TEST_HH
#include <iosfwd>
void readFrom(std::istream& istr);
void writeTo(std::ostream& ostr);
#endif
我为测试编写了一个虚拟实现：
#include <iostream>
#include <cassert>
#include "test.hh"
void readFrom(std::istream& istr) {
assert(istr.good());
std::cout << istr.rdbuf() << "\n";
}
void writeTo(std::ostream& ostr) {
assert(ostr.good());
ostr << "Hello" << std::endl;
assert(ostr.good());
}
有了它，我就可以使用以下方法成功包装它：
%module test
%{
#include <stdio.h>
#include <boost/iostreams/stream.hpp>
#include <boost/iostreams/device/file_descriptor.hpp>
namespace io = boost::iostreams;
typedef io::stream_buffer<io::file_descriptor_sink> boost_ofdstream;
typedef io::stream_buffer<io::file_descriptor_source> boost_ifdstream;
%}
%typemap(in) std::ostream& (boost_ofdstream *stream=NULL) {
int fd = -1;
#if PY_VERSION_HEX >= 0x03000000
fd = PyObject_AsFileDescriptor($input);
#else
FILE *f=PyFile_AsFile($input); // Verify the semantics of this
if (f) fd = fileno(f);
#endif
if (fd < 0) {
SWIG_Error(SWIG_TypeError, "File object expected.");
SWIG_fail;
}
else {
// If threaded incrment the use count
stream = new boost_ofdstream(fd, io::never_close_handle);
$1 = new std::ostream(stream);
}
}
%typemap(in) std::istream& (boost_ifdstream *stream=NULL) {
int fd = -1;
#if PY_VERSION_HEX >= 0x03000000
fd = PyObject_AsFileDescriptor($input);
#else
FILE *f=PyFile_AsFile($input); // Verify the semantics of this
if (f) fd = fileno(f);
#endif
if (fd < 0) {
SWIG_Error(SWIG_TypeError, "File object expected.");
SWIG_fail;
}
else {
stream = new boost_ifdstream(fd, io::never_close_handle);
$1 = new std::istream(stream);
}
}
%typemap(freearg) std::ostream& {
delete $1;
delete stream$argnum;
}
%typemap(freearg) std::istream& {
delete $1;
delete stream$argnum;
}
%{
#include "test.hh"
%}
%include "test.hh"
它的核心部分基本上是调用PyFile_AsFile() 从Python 的file 对象中获取FILE*。有了它，我们就可以构建一个 boost 对象，它使用文件描述符作为适当的源/接收器。
剩下的唯一事情就是在调用发生后清理我们创建的对象（或者如果错误阻止调用发生）。
有了它，我们就可以在 Python 中按预期使用它了：
import test
outf=open("out.txt", "w")
inf=open("in.txt", "r")
outf.write("Python\n");
test.writeTo(outf)
test.readFrom(inf)
outf.close()
inf.close()
请注意，缓冲语义可能不会产生您预期的结果，例如在 out.txt 我得到：
你好
蟒蛇
这是调用的相反顺序。我们也可以通过在构造 C++ 流之前强制调用我们类型映射中的 Python file 对象上的 file.flush() 来解决这个问题：
%typemap(in) std::ostream& (boost_ofdstream *stream=NULL) {
PyObject_CallMethod($input, "flush", NULL);
FILE *f=PyFile_AsFile($input); // Verify the semantics of this
if (!f) {
SWIG_Error(SWIG_TypeError, "File object expected.");
SWIG_fail;
}
else {
// If threaded incrment the use count
stream = new boost_ofdstream(fileno(f), io::never_close_handle);
$1 = new std::ostream(stream);
}
}
哪个具有所需的行为。
其他说明：
PyFile_IncUseCount 和 PyFile_DecUseCount 以确保在您执行时没有任何东西可以关闭文件'仍在使用它。PyFile_AsFile 返回 NULL 如果它给出的对象不是 file - 文档似乎没有指定任何一种方式，所以你可以使用 PyFile_Check 确定.PyString_Check/PyFile_Check 构造一个 std::ifstream 来决定在类型映射中采取哪些操作。ifstream/ofstream 构造函数，它采用 FILE* 作为扩展。如果您有其中之一，则可以使用它而不是依赖 boost。【讨论】：
PyFile_AsFile 不再可用，但我相信PyObject_AsFileDescriptor 具有相同的功能。它为您提供文件描述符而不是文件指针，因此您必须在其上使用fdopen。
FILE* 上调用fileno。您可能想在此处添加答案：stackoverflow.com/q/16130268/168175
我不知道 swig，但假设您需要创建一个可复制的对象，您可能会使用类似的函数来逃避
std::shared_ptr<std::ostream> make_ostream(std::string const& filename) {
return std::make_shared<std::ofstream>(filename);
}
...然后使用转发函数调用你真正要调用的函数：
void writeTo(std::shared_ptr<std::ostream> stream) {
if (stream) {
writeTo(*stream);
}
}
（如果重载名称会导致问题，当然可以以不同的方式调用转发函数）。
【讨论】：
我最终只是编写了自己的代理类以在接口中使用。 所以我用 SWIG 来包装这个类：
/**
* Simple class to expose std::streams in the python
* interface. works around some issues with trying to directy
* the file stream objects
*/
class ifstream_proxy: boost::noncopyable{
public:
ifstream_proxy(): m_istr(){
// no op
}
virtual ~ifstream_proxy(){
// no op
}
void open(const std::string& fname ){
m_istr.close();
m_istr.open( fname.c_str(), std::ifstream::in|std::ifstream::binary) ;
}
std::istream& stream(){
return m_istr;
}
// TBD: do I want to add additional stream manipulation functions?
private:
std::ifstream m_istr;
};
在 python 调用中进行调用
>>> proxy=ifstream_proxy()
>>> proxy.open('file_to_read_from.txt')
>>> readFrom( stream_proxy.stream() )
【讨论】：
我对@Flexo 提供的解决方案做了一些调整
主要的变化是使用了一个唯一指针拥有的 boost::iostream::stream
其他一些区别：
%fragment("iostream_header", "header") %{
#include <stdio.h>
#include <memory.h>
#include <boost/iostreams/stream.hpp>
#include <boost/iostreams/device/file_descriptor.hpp>
using boost_ofd_stream = boost::iostreams::stream<boost::iostreams::file_descriptor_sink>;
using boost_ifd_stream = boost::iostreams::stream<boost::iostreams::file_descriptor_source>;
%}
%typemap(in, fragment="iostream_header") std::ostream& (std::unique_ptr<boost_ofd_stream> stream) {
PyObject *flush_result = PyObject_CallMethod($input, const_cast<char*>("flush"), nullptr);
if (flush_result) Py_DECREF(flush_result);
%#if PY_VERSION_HEX < 0x03000000
int fd = fileno(PyFile_AsFile($input));
%#else
int fd = PyObject_AsFileDescriptor($input);
%#endif
if (fd < 0) { SWIG_Error(SWIG_TypeError, "File object expected."); SWIG_fail; }
stream = std::make_unique<boost_ofd_stream>(fd, boost::iostreams::never_close_handle);
$1 = stream.get();
}
%typemap(in, fragment="iostream_header") std::istream& (std::unique_ptr<boost_ifd_stream> stream) {
%#if PY_VERSION_HEX < 0x03000000
int fd = fileno(PyFile_AsFile($input));
%#else
int fd = PyObject_AsFileDescriptor($input);
%#endif
if (fd < 0) { SWIG_Error(SWIG_TypeError, "File object expected."); SWIG_fail; }
stream = std::make_unique<boost_ifd_stream>(fd, boost::iostreams::never_close_handle);
$1 = stream.get();
}
【讨论】：
根据 Dietmar 建议使用共享指针的工作 .i 文件：
%module ptrtest
%include "boost_shared_ptr.i"
%include "std_string.i"
%shared_ptr( std::ostream )
%{
#include <iostream>
#include <fstream>
#include <boost/shared_ptr.hpp>
typedef boost::shared_ptr< std::ostream > ostream_ptr;
ostream_ptr mk_out(const std::string& fname ){
return ostream_ptr( new std::ofstream( fname.c_str() ) );
}
void writeTo(std::ostream& ostr){
ostr<<"OK"<<std::endl;
}
%}
namespace std{
class ostream{
public:
// I think we could expose things like write,put here
// and actually make this class useful from python
protected:
// Need to declare this as protected otherwise swig tries
// to make/use a public default constructor.
ostream();
};
}
// Tell swig to put these into the interface
typedef boost::shared_ptr< std::ostream > ostream_ptr;
ostream_ptr mk_out(const std::string& fname );
void writeTo(std::ostream& ostr);
// Usage:
//>>>ostr=mk_out('/path/to/file.txt')
//>>>writeTo(ostr) # no need to cast/call-function!
【讨论】：