WebRTC学习之九：摄像头的捕捉和显示

较新的WebRTC源代码中已经没有了与VoiceEngine结构相应的VidoeEngine了，取而代之的是MeidaEngine。MediaEngine包括了MediaEngineInterface接口及事实上现CompositeMediaEngine，CompositeMediaEngine本身也是个模板类，两个模板參数各自是音频引擎和视频引擎。CompositeMediaEngine派生类WebRtcMediaEngine依赖的模板參数是WebRtcVoiceEngine和WebRtcVideoEngine2。

上图中base文件夹中是一些抽象类。engine文件夹中是相应抽象类的实现，使用时直接调用engine文件夹中的接口就可以。WebRtcVoiceEngine实际上是VoiceEngine的再次封装。它使用VoiceEngine进行音频处理。

注意命名，WebRtcVideoEngine2带了个2字，不用想，这肯定是个升级版本号的VideoEngine，还有个WebRtcVideoEngine类。

WebRtcVideoEngine2比WebRtcVideoEngine改进之处在于将视频流一分为二：发送流（WebRtcVideoSendStream）和接收流（WebRtcVideoReceiveStream），从而结构上更合理。源代码更清晰。
本文的实现主要是使用了WebRtcVideoEngine2中WebRtcVideoCapturer类。

一.环境
參考上篇：WebRTC学习之三：录音和播放
二.实现
打开WebRtcVideoCapturer的头文件webrtcvideocapture.h。公有的函数基本上都是base文件夹中VideoCapturer类的实现，用于初始化设备和启动捕捉。私有函数OnIncomingCapturedFrame和OnCaptureDelayChanged会在摄像头採集模块VideoCaptureModeule中回调。将採集的图像传给OnIncomingCapturedFrame，并将採集的延时变化传给OnCaptureDelayChanged。
WebRTC中也实现了类似Qt中的信号和槽机制，详见WebRTC学习之七：精炼的信号和槽机制。可是就像在该文中提到的，sigslot.h中的emit函数名会和Qt中的emit宏冲突。我将sigslot.h中的emit改成了Emit，当然改完之后，须要又一次编译rtc_baseproject。

VideoCapturer类有两个信号sigslot::signal2<VideoCapturer*, CaptureState> SignalStateChange和sigslot::signal2<VideoCapturer*, const CapturedFrame*, sigslot::multi_threaded_local> SignalFrameCaptured，从SignalFrameCaptured的參数能够看出我们仅仅要实现相应的槽函数就能获取到CapturedFrame，在槽函数中将 CapturedFrame进行转换显示就可以。SignalStateChange信号的參数CaptureState是个枚举。标识捕捉的状态（停止、開始、正在进行、失败）。
信号SignalFrameCaptured正是在回调函数OnIncomingCapturedFrame中发射出去的。

OnIncomingCapturedFrame里面用到了函数的异步运行。详见WebRTC学习之八：函数的异步运行。

mainwindow.h

#ifndef MAINWINDOW_H
#define MAINWINDOW_H

#include <QMainWindow>
#include <QDebug>

#include <map>
#include <memory>
#include <string>

#include "webrtc/base/sigslot.h"
#include "webrtc/modules/video_capture/video_capture.h"
#include "webrtc/modules/video_capture/video_capture_factory.h"
#include "webrtc/media/base/videocapturer.h"
#include "webrtc/media/engine/webrtcvideocapturer.h"
#include "webrtc/media/engine/webrtcvideoframe.h"

namespace Ui {
class MainWindow;
}

class MainWindow : public QMainWindow,public sigslot::has_slots<>
{
    Q_OBJECT

public:
    explicit MainWindow(QWidget *parent = 0);
    ~MainWindow();
    void OnFrameCaptured(cricket::VideoCapturer* capturer, const cricket::CapturedFrame* frame);
    void OnStateChange(cricket::VideoCapturer* capturer, cricket::CaptureState state);

private slots:
    void on_pushButtonOpen_clicked();

private:
     void getDeviceList();

private:
    Ui::MainWindow *ui;
    cricket::WebRtcVideoCapturer *videoCapturer;
    cricket::WebRtcVideoFrame *videoFrame;
    std::unique_ptr<uint8_t[]> videoImage;
    QStringList deviceNameList;
    QStringList deviceIDList;
};

#endif // MAINWINDOW_H

mainwindow.cpp

main.cpp

注意main函数中对WebRTC和Qt消息循环的处理，这是用Qt调用WebRTC进行摄像头捕捉和显示的关键。



三.效果