在 HoloLens 上以 30fps 访问 RGB 相机（或可定位相机）答案

【问题标题】：Access the RGB camera (or Locatable Camera) at 30fps on HoloLens在 HoloLens 上以 30fps 访问 RGB 相机（或可定位相机）
【发布时间】：2023-03-03 03:21:03
【问题描述】：

我正在尝试以 30 FPS 的速度以尽可能低的延迟访问 Hololens 可定位摄像头。我曾尝试使用WebCamTexture，但它与丢帧一起具有显着的延迟。我还使用了MediaCapture 示例（这似乎要快得多），但它显示在二维元素CaptureElemnet 上。有没有办法使用 MediaCapture API 获取每个帧的字节数组，以便我可以在 Unity3D 中的立方体纹理上渲染它。

【问题讨论】：

我想你已经看过这个了？ developer.microsoft.com/en-us/windows/holographic/…
是的，但是我找不到有关此链接的任何帮助。

标签： c# unity3d hololens

【解决方案1】：

我们创建了一个名为CameraStream 的开源项目来满足这一需求。作为一个 Unity 插件，它使用 MediaCapture 将字节数组输入 Unity（连同可定位矩阵）。从那里您可以将字节分配给 Texture2D，如提供的 Unity 示例中所示。

【讨论】：

它提供 30FPS 但延迟仍然存在，我猜这是因为Texture2D.LoadRawTextureData 花费了太多时间。我会尝试用 Opengl 插件解决这个问题。
您的项目是否使用 Vuforia？（我还没打开）
@KansaiRobot 不，我没有尝试将两者整合在一起。 Vuforia 有一个用于获取摄像头流的专有实现（可能与我的项目非常相似），但是这两个库可能会为获取摄像头提要的句柄而争吵。
感谢您的回复。我明白。我问是因为我想在检查你的项目之前知道。
我试过你的项目，它非常棒。然而，正如其他人所注意到的那样，视频是倒置的。我读到着色器可以解决这个问题。