【问题标题】:Several QR Codes with ARKit使用 ARKit 的几个 QR 码
【发布时间】:2019-03-30 22:21:42
【问题描述】:

在一个新项目中,我们计划创建以下 AR 展示:

我们希望有一堵墙,上面有一些管道和电缆。这些将安装传感器来控制和监控管道/电缆系统。由于每个传感器都将具有相同的尺寸和外观,我们计划为每个传感器添加单独的二维码。阅读ARWorldTrackingConfiguration 和ARImageTrackingConfiguration 的文档表明ARKit 能够识别已知图像。但是对图像的要求让我想知道在使用多个 QR 码时应用程序是否能按我们希望的方式工作:

来自detectionImages:

[...],在博物馆中识别艺术品或在电影海报中添加动画元素。

来自 Apples 主题演讲:

要跟踪的好图像:高纹理、高局部对比度、分布良好的直方图、无重复结构

由于 QR 码不完全符合要求,我想知道是否可以使用大约 10 个 QR 码并让 ARKit 单独且可靠地识别它们中的每一个。特别是当例如3 代码在视图中。有没有人有跟踪多个二维码甚至类似展示的经验?

【问题讨论】:

    标签: ios qr-code augmented-reality arkit


    【解决方案1】:

    识别(几个)二维码与 ARKit 无关,可以通过 3 种不同的方式完成(AVFramework、CIDetector、Vision),我认为后者更可取,因为您可能还想使用它的对象跟踪功能(VNTrackObjectRequest)。根据我的经验,它也更强大。

    如果您需要使用 QR 码的位置在 ARKit 场景中放置对象,您需要在 ARFrame 上执行 hitTest 以查找代码在世界中的 3D 位置(变换)。在该位置,您需要放置一个自定义 ARAnchor。使用锚点,您可以将自定义 SceneKit 节点添加到场景中。

    更新:因此建议的策略是:1. 使用 Vision 查找 QR 码及其 2D 位置,2. 使用 ARFrame.hitTest() 查找其 3D 位置 (worldTransform),3. 创建自定义(子类)ARAnchor 并将其添加到会话中,4. 在renderer(_ renderer: SCNSceneRenderer, nodeFor anchor: ARAnchor) 中为您的自定义ARAnchor 添加一个自定义节点(例如带有广告牌约束的SCNText)。 p>

    如果你有任何机会使用 RxSwift,它可以使用 RxVision 框架完成,因为它允许轻松地将相关的 ARFrame 传递到处理程序中 -

    var requests = [RxVNRequest<ARFrame>]()
    let barcodesRequest: RxVNDetectBarcodesRequest<ARFrame> = VNDetectBarcodesRequest.rx.request(symbologies: [.QR])
    
    self
        .barcodesRequest
        .observable
        .observeOn(Scheduler.main)
        .subscribe { [unowned self] (event) in
            switch event {
            case .next(let completion):
                self.detectCodeHandler(value: completion.value, request: completion.request, error: completion.error) // define the method first
            default:
                break
            }
        }
        .disposed(by: disposeBag)
    

    【讨论】:

    • 感谢您迄今为止的帮助!第二部分听起来更像是我想要实现的。我的想法基本上是二维码与黑白图像没有什么不同。因此我希望利用 ARKit 的图像识别能力来确定 View 中是哪个 QR Code,并在相应 QR Code 的位置显示个人信息(可能是一些文本等)。如果我尝试使用 ARKit 来实现这一点,我必须在 ARFrame 和 hitTest 的帮助下自己放置 ARAnchors,如果我理解正确的话?之后我可以将个人信息放置到每个锚点?
    • 我过去做过类似的事情,所以请随时询问具体的代码示例。 “ARKit 的图像识别能力”对于这项任务绝对没有帮助。
    • 非常感谢!因此,您会建议将 ARKit 与此用例的 Vision Framework 结合起来吗?阅读documentation 听起来真的很有意义。对不起,如果我问的是真正愚蠢的问题,我在这个话题上没有经验(希望还没有)。
    • 是的,您的总结是正确的。 1. 使用 Vision 查找 QR 码及其 2D 位置,2. 使用 ARFrame.hitTest() 查找其 3D 位置(worldTransform),3. 创建自定义(子类)ARAnchor 并将其添加到会话中,4. 在renderer(_ renderer: SCNSceneRenderer, nodeFor anchor: ARAnchor) 添加自定义 ARAnchor 的自定义节点(例如具有广告牌约束的 SCNText)。
    • 感谢您的解释!我想这就是我们必须走的路。我认为我们仍处于概念阶段,并在不久的将来开始实施。我会尽力提供我的反馈!
    【解决方案2】:
    if let image = anchor as? ARImageAnchor{
        guard let buffer: CVPixelBuffer = sceneView.session.currentFrame?.capturedImage else {
                        print("could not get a pixel buffer")
                        return
        }
        let image = CIImage(cvPixelBuffer: buffer)
    
        var message = ""
        let features = detector.features(in: image)
        for feature in features as! [CIQRCodeFeature] {
            message = feature.messageString
            break
        }
    
        if image.referenceImage.name == "QR1"{
            if message == "QR1"{
                // add node 1
            }else{
                sceneView.session.remove(anchor: anchor)
            }
        } else if image.referenceImage.name == "QR2"{
            if message == "QR2"{
                // add node 2
            }else{
                sceneView.session.remove(anchor: anchor)
            }
        }
    }
    

    detector 这里是CIDetector。
    您还需要检查renderer(_:didUpdate:for:)。
    我处理了 4 个二维码。 假设不能在同一帧中同时看到两个 QR 码。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-04-15
      • 1970-01-01
      • 2011-05-10
      • 1970-01-01
      • 2019-11-06
      • 1970-01-01
      • 1970-01-01
      • 2018-10-27
      相关资源
      最近更新 更多