从directshow获取iplImage或Mat到opencv

Question

由于在使用 c++ 和 opencv 时难以更改相机的分辨率，我不得不为我的眼动追踪软件更改为 directshow。

Directshow 对我来说是新事物，很难理解所有内容。但我发现这个很好的例子非常适合捕捉和查看网络摄像头。

http://www.codeproject.com/Articles/12869/Real-time-video-image-processing-frame-grabber-usi

我正在使用不需要 directShow SDK 的版本。 （但示例中使用的仍然是directshow，对吧？？）

#include <windows.h>
#include <dshow.h>

#pragma comment(lib,"Strmiids.lib")

#define DsHook(a,b,c) if (!c##_) { INT_PTR* p=b+*(INT_PTR**)a;   VirtualProtect(&c##_,4,PAGE_EXECUTE_READWRITE,&no);\
                                          *(INT_PTR*)&c##_=*p;   VirtualProtect(p,    4,PAGE_EXECUTE_READWRITE,&no);   *p=(INT_PTR)c; }


// Here you get image video data in buf / len. Process it before calling Receive_ because renderer dealocates it.
HRESULT ( __stdcall * Receive_ ) ( void* inst, IMediaSample *smp ) ; 
HRESULT   __stdcall   Receive    ( void* inst, IMediaSample *smp ) {     
    BYTE*     buf;    smp->GetPointer(&buf); DWORD len = smp->GetActualDataLength();
    HRESULT   ret  =  Receive_   ( inst, smp );   
    return    ret; 
}

int WINAPI WinMain(HINSTANCE inst,HINSTANCE prev,LPSTR cmd,int show){
    HRESULT hr = CoInitialize(0); MSG msg={0}; DWORD no;

    IGraphBuilder*  graph= 0;  hr = CoCreateInstance( CLSID_FilterGraph, 0, CLSCTX_INPROC,IID_IGraphBuilder, (void **)&graph );
    IMediaControl*  ctrl = 0;  hr = graph->QueryInterface( IID_IMediaControl, (void **)&ctrl );

    ICreateDevEnum* devs = 0;  hr = CoCreateInstance (CLSID_SystemDeviceEnum, 0, CLSCTX_INPROC, IID_ICreateDevEnum, (void **) &devs);
    IEnumMoniker*   cams = 0;  hr = devs?devs->CreateClassEnumerator (CLSID_VideoInputDeviceCategory, &cams, 0):0;  
    IMoniker*       mon  = 0;  hr = cams->Next (1,&mon,0);  // get first found capture device (webcam?)    
    IBaseFilter*    cam  = 0;  hr = mon->BindToObject(0,0,IID_IBaseFilter, (void**)&cam);
                               hr = graph->AddFilter(cam, L"Capture Source"); // add web cam to graph as source
    IEnumPins*      pins = 0;  hr = cam?cam->EnumPins(&pins):0;   // we need output pin to autogenerate rest of the graph
    IPin*           pin  = 0;  hr = pins?pins->Next(1,&pin, 0):0; // via graph->Render
                               hr = graph->Render(pin); // graph builder now builds whole filter chain including MJPG decompression on some webcams
    IEnumFilters*   fil  = 0;  hr = graph->EnumFilters(&fil); // from all newly added filters
    IBaseFilter*    rnd  = 0;  hr = fil->Next(1,&rnd,0); // we find last one (renderer)
                               hr = rnd->EnumPins(&pins);  // because data we are intersted in are pumped to renderers input pin 
                               hr = pins->Next(1,&pin, 0); // via Receive member of IMemInputPin interface
    IMemInputPin*   mem  = 0;  hr = pin->QueryInterface(IID_IMemInputPin,(void**)&mem);

    DsHook(mem,6,Receive); // so we redirect it to our own proc to grab image data

    hr = ctrl->Run();   

    while ( GetMessage(   &msg, 0, 0, 0 ) ) {  
        TranslateMessage( &msg );   
        DispatchMessage(  &msg ); 
    }
};

对于来自 cam 的每个新帧都会调用 HRESULT Receive 方法。 cmets 说 buf 包含数据。但我有 3 个问题/疑问。

1. 我不能包含 opencv 库。我在 Visual Studio 中创建了一个新项目，并添加了与我一直包含的相同的属性表。与早期项目的唯一区别是我现在创建了一个完全空的项目，之前我创建了一个 win32 应用程序。 如何将opencv添加到directshow项目中？

2. 上面的例子。来自 buf。这是一个指向数据的指针。如何将其输入到 iplImage/Mat 中以进行 opencv 计算？

3. 有没有办法不显示来自网络摄像头的图像（我只需要对帧执行一些算法，我猜删除带有结果的窗口可能会给我更多的分析算法能力？！）

谢谢！

Answer 1

使用 DirectShow，您通常会创建一个管道，即一个图形，然后向其添加过滤器，如下所示：

Camera -> [可能是一些额外的东西] -> Sample Grabber -> Null Renderer

相机、Sample Grabber、Null Renderer 都是随清洁 Windows 一起提供的标准组件。 Sample Grabber 可以设置为通过ISampleGrabberCB::SampleCB 给您回电，并为您提供捕获的每个视频帧的数据。 Null Renderer 是管道的终止，而不在监视器上显示视频（只是视频捕获）。

SampleCB 是为您带来您需要的示例代码的关键字。通过此调用接收到数据后，您可以按照@praks411 的建议将其转换/包装为 IPL/OpenCV 类。

如此简单，您就不需要 DirectShow BaseClasses，代码将只是常规的 ATL/MFC 代码和项目。确保使用 CComPtr 包装类来处理 COM 接口，以免丢失引用和泄漏对象。最新的 Windows SDK 中可能缺少某些声明，因此您需要使用 Windows SDK 6.x 或从那里复制缺少的部分。

另见：

• How to capture frames using Delphi/DSPack without displaying it on TVideoWindow?（Delphi 代码，但很好的描述和数字）
• DirectShow: Examples for Using SampleGrabber for Grabbing a Frame and Building a VU Meter
• SetLifeCamStudioResolutionSample - 一个小型 DirectShow 项目，展示如何设置捕获，包括相机分辨率和 Sample Grabber，以及缺少 SDK 声明；相关Q是Can't make IAMStreamConfig.SetFormat() to work with LifeCam Studio
• Building the Filter Graph 在 Sample Grabber 和 Null Renderer 上

Answer 2

我认为您可以将 opencv 包含在现有文件中。我已经为控制台应用程序做到了。您需要在当前项目的属性页中包含 opencv 标头的路径和 opencv lib 的路径。

转到项目属性： 1.添加标题 C/C++ -----> Additional Include Directories ---> 这里添加 opencv 包含目录（你可能想包含多个目录）

1. 添加库 链接器 -----> 附加库目录 ----> 这里添加 opencv 库。

从 buf 创建 IplImage。获得图像的高度和宽度后，您可以使用以下内容。

IplImage *m_img_show;
CvSize cv_img_size = cvSize(m_mediaInfo.m_width, m_mediaInfo.m_height);
            m_img_show = cvCreateImageHeader(cv_img_size, IPL_DEPTH_8U,3);
            cvSetData(m_img_show, m_pBuffer, m_mediaInfo.m_width*3);

我认为图像预览很有帮助。您上面的过滤器似乎从渲染器获取数据。如果您确实需要，您可能想要更改渲染器并在无窗口模式下使用它。其他选项可能是使用采样器过滤器。