LiDAR 和 RealityKit – 为扫描模型捕获真实世界纹理

Question

任务

我想capture 一个真实世界的纹理并将其应用到借助激光雷达扫描仪生成的 3D 网格。我想应该使用 Projection-View-Model 矩阵。必须从固定的视点（例如，从房间的中心）制作纹理。但是，如果我们可以应用 environmentTexturing 数据，在场景中收集为 cube-map 纹理，那将是一个理想的解决方案。

看看3D Scanner App。这是一个参考应用程序，允许我们导出带有纹理的模型。

我需要通过一次迭代来捕获纹理。我不需要实时更新它。我意识到改变 PoV 会导致错误的纹理感知，换句话说，会导致纹理失真。此外，我意识到 RealityKit 中有一个动态镶嵌，并且有一个自动纹理 mipmapping（纹理的分辨率取决于它捕获的距离）。

import RealityKit
import ARKit
import MetalKit
import ModelIO

class ViewController: UIViewController, ARSessionDelegate {
    
    @IBOutlet var arView: ARView!

    override func viewDidLoad() {
        super.viewDidLoad()

        arView.session.delegate = self
        arView.debugOptions.insert(.showSceneUnderstanding)

        let config = ARWorldTrackingConfiguration()
        config.sceneReconstruction = .mesh
        config.environmentTexturing = .manual
        arView.session.run(config)
    }
}

问题

• 如何为重建的 3D 网格捕捉和应用真实世界的纹理？

Answer 1

遗憾的是，我无法使用 LiDAR 扫描过程实时捕获模型的纹理（在 WWDC21，Apple 没有为此发布 API）。然而，好消息是——一种新的方法终于出现了。它将允许开发人员从一系列镜头中创建纹理模型。

摄影测量

Object Capture API 在 WWDC 2021 上宣布，为开发人员提供了期待已久的photogrammetry 工具。在输出中，我们得到具有相应纹理的 USDZ 模型。要实现Object Capture API，您需要 Xcode 13、iOS 15 和 macOS 12。

让我分享一些关于如何拍摄高质量照片的技巧：

• 照明条件必须合适
• 使用柔和（不刺眼）阴影的柔和光线
• 相邻图像必须有 75% 的重叠
• 不要使用自动对焦
• 最好使用 RGB + 深度通道的图像
• 最好使用带有重力数据的图像
• 最好使用更高分辨率和 RAW 图像
• 请勿捕捉移动物体
• 请勿捕捉反射或折射物体
• 请勿捕捉具有镜面高光的对象

从技术上讲，iPhone 能够将多个通道存储为视觉数据，并将来自任何 iOS 传感器的数据存储为元数据。换句话说，我们应该实现数字合成技术。我们必须为每个镜头存储以下通道——RGB、Alpha（分割）、深度数据及其置信度、视差等，以及来自数字罗盘的有用数据。深度通道可以取自 LiDAR（精确距离以米为单位），也可以取自两个 RGB 相机（视差通道质量一般）。我们能够将所有这些数据保存在 OpenEXR 文件或 Apple 的双四通道 JPEG 中。深度数据必须是 32 位。

这是一个 Apple sample app，其中实现了捕获方法。

要从一系列捕获的图像创建 USDZ 模型，请使用 PhotogrammetrySession 将这些图像提交到 RealityKit。

这里有一段代码 sn-p 揭示了这个过程：

import RealityKit
import Combine

let pathToImages = URL(fileURLWithPath: "/path/to/my/images/")

let url = URL(fileURLWithPath: "model.usdz")

var request = PhotogrammetrySession.Request.modelFile(url: url, 
                                                   detail: .medium)

var configuration = PhotogrammetrySession.Configuration()
configuration.sampleOverlap = .normal
configuration.sampleOrdering = .unordered
configuration.featureSensitivity = .normal
configuration.isObjectMaskingEnabled = false

guard let session = try PhotogrammetrySession(input: pathToImages, 
                                      configuration: configuration)
else { return 
} 

var subscriptions = Set<AnyCancellable>()

session.output.receive(on: DispatchQueue.global())
              .sink(receiveCompletion: { _ in
                  // errors
              }, receiveValue: { _ in
                  // output
              }) 
              .store(in: &subscriptions)

session.process(requests: [request])

可以在sample app 中找到一个完整版本的代码，允许您从一系列镜头中创建 USDZ 模型。

Answer 2

如何在 Unity 中完成

我想分享一些关于 Unity 的 AR 基金会 工作的有趣信息，其中包含来自 LiDAR 的网格。目前——2020 年 11 月 1 日——情况很荒谬。这与原生 ARKit 开发人员无法使用标准的高级 RealityKit 工具捕获扫描对象的纹理这一事实相关，但是 Unity 的 AR Foundation 用户（创建 ARKit 应用程序）可以使用ARMeshManager 脚本执行此操作。我不知道这个脚本是由 AR Foundation 团队开发的，还是只是由一家小型创意初创公司的开发人员开发（然后被收购），但事实仍然存在。

要将 ARKit 网格与 AR Foundation 结合使用，您只需将 ARMeshManager 组件添加到您的场景中。如图所示，有Texture Coordinates、Color和Mesh Density等功能。

如果有人有更多关于必须如何在 Unity 中配置或编写脚本的详细信息，请在此线程中发布相关信息。