Microsoft Hololens 在多大程度上可以用于检测物体？

Question

我正在启动一个项目，研究 Hololens 在检测 3D 物体方面的能力（物体可以有多小？物体必须是什么形状？）

例如，如果我使用 Hololens 观察鞋子，它能否捕捉到鞋子表面上的所有点？我查看了 Hololens 的规格，它说它具有“环境理解相机”，但这是否意味着它们是 3D 相机，它们的精度如何？

我问的原因是我完成了一个教程，该教程可以让你查看房间扫描的网格，椅子和桌子之类的东西看起来像是从地上长出来的肿块，而不是自主物体。如果我想让 hololens 检测到鞋子并对其进行处理，那么肿块将毫无用处。

我是各种图像/3D 对象检测的新手，因此非常感谢任何有助于解释其工作原理的资源。

Answer 1

Hololens 本身不检测物体。它只检测表面。也许，如果 Hololens 检测到一只鞋（即您的地板上有一只鞋），Hololens 可能会检测到表面的变化。但是您无法（先验地）知道它的差异是由表演还是由地板上的不完美造成的。

具体来说：如果你想检测鞋子，我建议你从Vuforia研究对象检测。如果您想检测先前给定的对象，这是最简单的方法。

如果您想进一步检测鞋子、网球和其他类型的鞋子，我建议使用任何现有的用于 AI/机器学习的库/框架，并使用多个鞋子图像训练神经网络，并传递来自 HoloLens 的照片摄像头并处理神经网络返回的信息。