Google Project Tango 中的 AR 叠加精度答案

【问题标题】：AR Overlay Accuracy in Google Project TangoGoogle Project Tango 中的 AR 叠加精度
【发布时间】：2015-02-11 21:43:51
【问题描述】：

我正在尝试在 Unity 后置摄像头的直通图像上叠加增强现实对象。

有没有人尝试过用精确跟踪覆盖对象？我已经调整了运动比例以获得一些不错的结果，但旋转仍然不准确，并且漂移是一个大问题。

【问题讨论】：

你的意思是使用探戈姿势信息来移动虚拟物体相对于现实世界的运动吗？
您是否将相机外部应用于姿势变换？一般来说，在 AR 应用中改变移动比例是个坏主意。
@MarkMullin 完全正确。我假设我可以将对象放入与真实世界场景相对应的 Unity 场景中，并且摄像机的运动将反映真实世界的运动，因此体验会相互融合。不幸的是，摄像机的运动并不能反映真实世界的运动。似乎旋转按比例缩小，但平移相当准确。
我没有看到统一的比例效果，但肯定会看到漂移 - 如果您查看我在 G+ Tango 页面上发布的电影，您会发现如果我挑选数据 - 是的，这确实让我进入了 Tufte 先生的流氓档案，但到底是什么 - 但不要弄乱旋转比例 - 初始摄入数据的一个方便技巧是只选择稳定的姿势，即姿势与前一个姿势有一个小的位置或旋转增量

【解决方案1】：

我很幸运能够使用最新探戈附带的增强现实示例。根据我的经验，它确实按照您推测的方式工作，如果您将项目添加到统一场景，它们将与设备检测到的运动同步。

我相信自从您最初提出这个问题以来，跟踪和同步功能已经有所改进，因为自从我大约一个月前拿到我的 tango devkit 后，我注意到了改进。大约一周后有更新，立即得到改善。

我发现有些场景的追踪比其他场景更好，这似乎有助于它追踪更多的风景。在我的工作区，一个相当杂乱的公寓里，它追踪得很好，但在当前空置和空置的相邻的相同公寓单元中，它也没有追踪。这也可能是我的单元中的百叶窗没有悬挂在空单元中的产物，过滤掉了额外的红外线。

【讨论】：

【解决方案2】：

我正在尝试将 3D 对象放置在 Tango 彩色相机的实时输入上。

这里的一个问题是硬件彩色相机“指向”一个（奇怪的）方向。直到现在我才能从 api 获得方向向量。您用于渲染场景的虚拟相机需要这种旋转才能正确渲染 3D 对象。

他们使用旋转 3D 相机的矩阵来解决这个问题。

它可以在 Unity 脚本“TangoARPoseController”(C#) 中找到，当附加到一个统一相机时，它会旋转它，以便它以正确的方向查看场景。该矩阵是在该脚本的“SetCameraExtrinsics”方法中获得的。

不幸的是，当我将矩阵应用于我的统一场景时，它不会产生完美的叠加层（实际上它很糟糕）。但是我还有其他位置输入来源，这可能是这里的问题。

但是，直到现在我还不确定示例中使用的矩阵是否足以用于准确的 ar 叠加。也许它只是适合演示目的。但这应该是进一步调查的良好起点。

【讨论】：

【解决方案3】：

我们是在谈论在背景中显示“网络摄像头”而不是天空盒吗？

看看我的 GhostHunter 存储库。它包括一个着色器和一个脚本，用于在游戏对象（如天空盒）“后面”显示后置摄像头。它应该可以与 Tango 一起使用，并且比我见过的其他人使用的“在网格上显示”技术要好。

【讨论】：