将图像指针返回到 Erlang

Question

我正在尝试将 openCV 与 Erlang NIF 一起使用。 所以我想做一个基本的事情，那就是阅读一张图片并将指针发送回 erlang。 并能够再次将收到的指针发回给 C 并显示图片

所以 niftest.cpp 看起来像这样：

/* niftest.cpp */

#include "erl_nif.h"
#include <opencv/highgui.h>
#include <opencv/cv.h>
using namespace cv;
using namespace std;


static ErlNifResourceType* frame_res = NULL;


typedef struct _frame_t {
IplImage* _frame;
} frame_t;

//------------------------------------------------------------------------------
// NIF callbacks
//------------------------------------------------------------------------------

static void frame_cleanup(ErlNifEnv* env, void* arg) {
enif_free(arg);
}

static int load(ErlNifEnv* env, void** priv, ERL_NIF_TERM load_info)
{

ErlNifResourceFlags flags = (ErlNifResourceFlags) (ERL_NIF_RT_CREATE | ERL_NIF_RT_TAKEOVER);
frame_res = enif_open_resource_type(env, "niftest", "ocv_frame",
                      &frame_cleanup,
                      flags, 0);
return 0;
}


static ERL_NIF_TERM get_pic(ErlNifEnv* env, int argc, const ERL_NIF_TERM argv[])
{

IplImage* src = cvLoadImage("/home/khashayar/Downloads/pic.png");

cout << src->width << endl;

IplImage* gray = cvCreateImage(cvGetSize(src), IPL_DEPTH_8U, 1);
cvCvtColor(src, gray, CV_RGB2GRAY);

frame_t* frame = (frame_t*)enif_alloc_resource(frame_res, sizeof(frame_t));
frame->_frame = gray ;

ERL_NIF_TERM term = enif_make_resource(env, frame);
enif_release_resource(frame);
return enif_make_tuple2(env, enif_make_atom(env, "ok"), term); 

}


static ERL_NIF_TERM show_pic(ErlNifEnv* env, int argc, const ERL_NIF_TERM argv[]){

frame_t* frame;
 if (!enif_get_resource(env, argv[0], frame_res, (void**) &frame)) {
   return enif_make_badarg(env);
 }

 cvShowImage("YOOHOO", frame->_frame);

 cvWaitKey(30);

 return enif_make_atom(env, "ok");
}

static ErlNifFunc nif_funcs[] =
  {
    {"show_pic", 1, show_pic},
    {"get_pic", 0, get_pic}
  };

ERL_NIF_INIT(niftest,nif_funcs,load,NULL,NULL,NULL)

我的 niftest.erl 看起来像这样：

-module(niftest).

-compile(export_all).

init() ->
      erlang:load_nif("./niftest", 0).

get_pic() ->
      "NIF library not loaded".

show_pic(F) ->
      "NIF library not loaded".

所以现在的问题是，当我调用 get_pic 时，我得到的回报是 {ok, <<>>}，而指针根本无效。

当我 cout 制作 enif_make_resource 之前的框架时，它有一个值，我可以看到它，但它返回给我的是空的！

我做错了什么？ 我已经阅读了所有文档，但我真的无法弄清楚。

注意：您可以使用以下命令编译代码：

g++ -fPIC -shared -o niftest.so niftest.cpp -lopencv_core -lopencv_imgproc -lopencv_highgui -I /usr/lib64/erlang/usr/include/

然后运行erlang shell并调用init和get_pic函数

Answer 1

NIF 是移植 OpenCV 高级 GUI 的错误解决方案。

然而，回答你的问题：你得到的 {ok, <<>>} 元组中明显空的二进制文件在 Erlang 中是不透明的。这是erl_nif 手册页中记录的资源对象。

资源对象是垃圾收集器友好的。如果没有进程引用给定资源，则将调用清理函数。它们通常是在 NIF 中嵌入 C 或 C++ 指针的正确结构。

IplImage* 指针是资源对象的完美候选者。您可能不需要frame_t 类型，因为您可以简单地将指针转换为IplImage**。清理函数应该释放内存，在你的例子中，调用cvReleaseImage。

由于指针是不透明的，你需要移植访问器函数来向 Erlang 提供数据。这实际上取决于您想从图像中提取的数据类型。例如，您可以移植cvEncodeImage 函数并使用enif_make_binary 将数据从CvMat* 转换为erlang 二进制文件。

另外，作为旁注，您应该在存根函数中调用erlang:nif_error/1,2，而不是返回列表"NIF library not loaded"。

移植 API（如 OpenCV 的高级 GUI） 的正确方法是外部驱动程序（或 C 节点）。

有几个原因，包括：

• NIF 调用应该快速返回（调用 cvWaitKey 是 NIF 的不良候选者，而且计算时间过长），否则会混淆调度程序；
• 使用 NIF 或链接的驱动程序，内存管理直接影响 Erlang 的虚拟机，任何崩溃都会导致整个 Erlang 节点崩溃。

外部驱动程序是从stdin（通常）获取数据并回复stdout 的进程。这在 C 或 C++ 中设计非常简单。您可以根据需要移植 OpenCV 的 API 或更复杂的函数。在这种情况下，IplImage* 之类的指针可以作为不透明的 4 或 8 字节序列传输，或者作为参考编号，前提是您维护了 Erlang 已分配的所有 IplImage* 指针的列表。然而，与 NIF 不同的是，它没有资源对象，您必须设计您的 Erlang 端代码以确保正确释放内存。

您将在Interoperability Tutorial User's Guide 中找到更多信息和示例代码。

另请参阅此问题：OpenCV on Erlang