Hololens - 访问相机框架

Question

在 3D 模式下，如何从 hololens 相机访问视频流中的所有帧？我正在使用 C#。

unity VideoCapture 类似乎没有提供这个： http://docs.unity3d.com/550/Documentation/ScriptReference/VR.WSA.WebCam.VideoCapture.html

并且带有方法MediaCapture.StartPreviewToCustomSinkAsync 的microsoft MediaCapture 类没有很好的文档记录。 https://msdn.microsoft.com/en-us/library/windows/desktop/ms701626(v=vs.85).aspx

Answer 1

我们创建了一个名为 CameraStream 的开源项目来满足这一需求。作为一个 Unity 插件，它使用 MediaCapture 将字节数组输入 Unity（连同可定位矩阵）。从那里您可以将字节分配给 Texture2D，如提供的 Unity 示例中所示。

我们的 VideoCapture 类模仿了Unity's class of the same name，以便开发人员熟悉如何使用它。我们还假设最终将由 Unity 开箱即用地提供此功能。

Answer 2

您可以尝试使用 MediaCapture FrameReader API

文档： https://msdn.microsoft.com/en-gb/windows/uwp/audio-video-camera/process-media-frames-with-mediaframereader#create-a-frame-reader-for-the-frame-source

示例代码： https://github.com/Microsoft/Windows-universal-samples/tree/master/Samples/CameraFrames