使 AForge VideoCaptureDevice 与 Unity 一起工作

Question

我正在尝试在 Unity3D 中的飞机上进行相机展示。我正在使用 AForge 文档中的代码：http://www.aforgenet.com/framework/docs/html/f4d3c2ba-605c-f066-f969-68260ce5e141.htm 除了我通过 Unity 而不是 AForges 通常的方式插入网络摄像头，它想要制作 FilterInfoCollection。如果我没记错的话，Unity 需要这样做才能识别网络摄像头。

但是我的代码无法正常工作，网络摄像头启动（因为我的 webCam.Play()），但没有其他任何反应。通过调试，我发现程序没有到达我的 video_NewFrame 函数，我相信我在使用 Unity 时需要以某种方式初始化？

如何正确设置？

using UnityEngine;
using System.Collections;
using System.Drawing;
using System.Drawing.Imaging;
using System.IO;
using AForge.Video;
using AForge.Video.DirectShow;
using AForge.Imaging.Filters;
using AForge.Imaging;
using AForge;

public class LoadVideo : MonoBehaviour {

    public VideoCaptureDevice videoSource;
    WebCamTexture webCam;
    void Start(){
        webCam = new WebCamTexture();
        webCam.Play();
    }

    // Update is called once per frame
    object b;
    public WebCamDevice wc;
    public GameObject originalFeed;
    void Update () {
        videoSource = new VideoCaptureDevice(webCam.deviceName);
        videoSource.NewFrame += new NewFrameEventHandler(video_NewFrame);
        videoSource.Start();
        originalFeed.GetComponent<Renderer>().material.mainTexture = originalFeedTexture;
    }
    public delegate void EventPrototype(System.EventArgs args);

    Texture2D originalFeedTexture;
    void video_NewFrame(object sender, NewFrameEventArgs eventArgs)
    {
        Debug.Log("you here mate");
        Bitmap video = (Bitmap)eventArgs.Frame.Clone();
        MemoryStream memoryStream = new MemoryStream();
        video.Save(memoryStream, ImageFormat.Jpeg);
        byte[] bitmapRecord = memoryStream.ToArray();

        originalFeedTexture.LoadImage(bitmapRecord);
    }

}

Answer 1

首先，我不确定 AForge 是否可以在 Unity 中工作。原因是它使用 .NET 4 或更高版本，而 Unity 使用 .NET 3.5。

除此之外，您的代码中还有几个问题。

1.WebCamTexture 被 Unity 用来开始从相机中捕捉帧。

2.VideoCaptureDevice 被 AForge 用来开始从相机捕捉帧。

四个问题：

1。您必须使用一个，而不是两个。你不能同时使用它们，我相信可以一次从一个位置访问相机。

当您执行webCam.Play(); 然后videoSource.Start(); 时，您正在尝试使用来自多个 API 的一个摄像头。如果您想使用 AForge API，则应使用 VideoCaptureDevice。

2。您正在调用videoSource = new VideoCaptureDevice(webCam.deviceName);，并在Update 函数中的每一帧都使用videoSource.Start(); 启动相机。这应该通过将其移至Start 函数来完成。您还需要注册一次NewFrame 活动。

3。 originalFeedTexture 未初始化，但在 video_NewFrame 和 Update 函数中使用。

4。您可以使用WebCamDevice 类获取网络摄像头名称。最后的示例代码显示了如何。不要为此使用WebCamTexture。

5。videoSource.NewFrame 极有可能被另一个 Thread 调用/调用。因此，当您的 video_NewFrame 函数被调用时，originalFeedTexture.LoadImage(bitmapRecord); 代码行将抛出如下所示的异常：

....只能从主线程调用

您必须找到一种方法来调用 Unity 的主线程或 Update 函数中的那行代码，因为您不能在另一个 Thread 中使用 Unity API(Texture2D/originalFeedTexture)。

从下面的代码开始，也许你可以让它工作。由于.NET 版本差异，不确定整个 AForge+Unity 的事情。问题 #5 在此解决方案中未得到解决。你可以使用Unity Threading Helper插件（免费）。

public class LoadVideo : MonoBehaviour 
{
    public VideoCaptureDevice videoSource;
    public GameObject originalFeed;
    Texture2D originalFeedTexture;

    void Start()
    {
        init();
    }

    void init()
    {
        originalFeedTexture = new Texture2D(128, 128);

        //Get WebCam names
        WebCamDevice[] devices = WebCamTexture.devices;
        if (devices.Length <= 0)
        {
            Debug.LogError("No Web Cam Found....Exiting");
            return; //Exit
        }
        videoSource = new VideoCaptureDevice(devices[0].name);
        videoSource.NewFrame += new NewFrameEventHandler(video_NewFrame);
        videoSource.Start();
    }

    void stop()
    {
        videoSource.SignalToStop();
    }

    void Update () 
    {
        originalFeed.GetComponent<Renderer>().material.mainTexture = originalFeedTexture;
    }

    public delegate void EventPrototype(System.EventArgs args);

    void video_NewFrame(object sender, NewFrameEventArgs eventArgs)
    {
        Debug.Log("you here mate");
        Bitmap video = (Bitmap)eventArgs.Frame.Clone();
        MemoryStream memoryStream = new MemoryStream();
        video.Save(memoryStream, ImageFormat.Jpeg);
        byte[] bitmapRecord = memoryStream.ToArray();

        originalFeedTexture.LoadImage(bitmapRecord);
    }

    //Make sure to stop when run time ends
    void OnDisable()
    {
        stop();
    }
}

我正在尝试将相机分割成帧，然后我可以在这些帧上使用 AForges 方法。

如果您只想这样做，您可以使用 Unity 的 WebCamTexture 然后将其转换为 Texture2D：

WebCamTexture webCam = new WebCamTexture (160, 120);
webCam.play();
Texture2D originalFeedTexture = new Texture2D(webCam.width, webCam.height);
originalFeedTexture.SetPixels(webCam.GetPixels());
originalFeedTexture.Apply();
///Use it  then destroy it
Object.Destroy(originalFeedTexture);

帧现在存储在originalFeedTexture 变量中。 如果您需要 Texture2D 帧作为字节，可能用于通过网络发送：

JPG字节：

byte[] bytes = originalFeedTexture.EncodeToJPG();

PNG字节：

byte[] bytes = originalFeedTexture.EncodeToPNG();