【问题标题】:Is ARCore object recognition possible?ARCore 物体识别可能吗?
【发布时间】:2018-02-27 17:24:16
【问题描述】:

我的目标是在一个物理对象(这将是一个建筑模型)上叠加材质/纹理,我将拥有一个相同的 3d 模型。该模型将是静态的(如果有帮助,可以放在桌子上),但我显然想从任何一侧查看对象。我的物理模型的占地面积往往不小于 15x15cm,可能大到 2-3m^2,但我愿意更改模型的大小以使用 ARCore 的功能。

我知道 ARCore 主要用于将数字对象锚定到平坦的水平面上。我的主要问题是,在目前的状态下,它是否能够实现我的最终目标?如果我有这个权利,它会记录物理点云数据并尝试将其与我的数字模型的点云数据匹配,然后将两者重叠在手机屏幕上?

如果这真的不是 ARCore 的用途,我应该关注其他替代方案吗?在我看来,这听起来相当简单,但我敢肯定,如果我以一种低效的方式去做,我会超出我的深度。说到深度,我不想使用深度传感器,因为我的目标设备是手机。

【问题讨论】:

    标签: augmented-reality arcore


    【解决方案1】:

    我绝对希望它在未来成为可能 - 毕竟没有计算机视觉的 AR 工具包没有那么有用。

    不幸的是,根据 ARCore 员工 Ian 的说法,这是 currently not directly supported,但您可以尝试通过 glReadPixels 访问像素,然后对这些图像字节使用 OpenCV

    引自伊恩:

    我无法谈论未来的计划,但我同意这是一个可取的 能力。不幸的是,我的理解是当前的 Android 平台限制阻止提供单个缓冲区,可以 同时用作 GPU 纹理和 CPU 可访问的图像,因此必须小心 提供这种能力。

    【讨论】:

    • 是的,在我们可以在移动设备上运行基本的 CNNS 之前,我不希望它得到支持。但是,正如您提到的 OpenCV:您可以将其流式传输到本地具有强大 gpu 的笔记本电脑,并通过一些摆弄以这种方式获得结果。虽然我推荐 tensorflow,或者 CNTK - 显然效率提高了 3 倍。
    【解决方案2】:

    更新日期:2020 年 6 月 29 日

    目前,ARCore 1.18 中仍然没有 3D Object Recognition API

    但您可以使用Augmented Images API(自 ARCore 1.2 版本起)和全新的ML Kit framework(现在处于测试阶段)来执行某些任务。

    根据谷歌文档:

    从 ARCore 1.9 开始,ARCore 还跟踪moving images,例如经过的公共汽车上的广告或用户在移动双手时手持的平面物体上的图像。

    【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2012-07-26
    • 1970-01-01
    • 1970-01-01
    • 2013-12-15
    • 1970-01-01
    • 1970-01-01
    • 2022-01-18
    • 1970-01-01
    相关资源
    最近更新 更多