【问题标题】:Augmented reality - ARKit - detecting objects dynamically (without marker/ibeacon) in an environment增强现实 - ARKit - 在环境中动态检测对象(没有标记/ibeacon)
【发布时间】:2018-06-09 00:36:26
【问题描述】:

使用 AR 进行室内导航时,有哪些方法可以识别房间中的特定对象以及用户的位置。我知道我们可以使用信标和标记来识别房间中的对象或用户的位置。

在不使用它们的情况下,查找用户位置和识别对象以进行 AR 体验的其他替代方法是什么。我正在探索使用 iOS 设备进行室内导航的 AR(目前专注于使用 ARKit)。如果我们使用核心位置进行用户定位,准确率较低。在小商店中,如果我们使用核心位置或任何与地图相关的服务,我们将面临用户/产品定位错误,从而导致用户体验不佳。有没有其他方法/解决方案来解决这个问题?

【问题讨论】:

    标签: augmented-reality arkit


    【解决方案1】:

    在场景中直观地检测对象的明显替代方法是将 CoreML 框架与 ARKit 结合使用。 Github 上已经有一个基本的应用程序可用。

    CoreML-in-ARKit

    您还可以获取这些对象相对于起始原点的 worldPosition 并根据 SCNNode 标签位置绘制 x、z 坐标系(室内地图)。它不会那么准确……但它是一个基本的对象识别和定位系统。

    编辑:

    使用开箱即用的 CoreML 图像分类器的一个限制,例如 Inceptionv3.mlmodel 仅从一组通用类别中检测占主导地位的通用对象,例如树木、动物、食物、车辆、人等。

    您提到在零售店内进行对象识别(图像分类)。这将需要一个自定义图像分类器,例如可以区分不同类型的 iphone 型号(iphone7、iphone 8 或 iphone X),而不仅仅是确定它是智能手机。

    要为 ARkit 创建您自己的对象识别器(图像分类器),请遵循 Hunter Ward 编写的本教程。

    https://medium.com/@hunter.ley.ward/create-your-own-object-recognizer-ml-on-ios-7f8c09b461a1

    代码在 Github 上可用:

    https://github.com/hanleyweng/Gesture-Recognition-101-CoreML-ARKit

    注意:如果您需要为零售店中的 100 件商品创建自定义分类器……Ward 建议每个类大约 60 张图片……总共大约 60 x 100 = 6000 张图片。为了生成 Core ML 模型,Ward 使用了名为“Custom Vision”的 Microsoft 认知服务……目前限制为 1000 张图像。因此,如果您需要制作超过 1000 张图像,则必须找到另一种创建模型的方法。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-02-08
      • 2018-05-08
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多