扫描真实世界对象并从中生成 3D 网格

Question

ARKit 应用程序允许我们创建一个ARReferenceObject，并使用它，我们可以可靠地识别现实世界对象的位置和方向。但是我们也可以保存完成的.arobject文件。

但是，ARReferenceObject 仅包含 ARKit 识别现实世界对象所需的空间特征信息，而不是该对象的可显示 3D 重建。

func createReferenceObject(transform: simd_float4x4, 
                              center: simd_float3, 
                              extent: simd_float3, 
                   completionHandler: (ARReferenceObject?, Error?) -> Void)

我的问题：

有没有一种方法可以让我们使用 Poisson Surface Reconstruction 或 Photogrammetry 从 .arobject 文件中重建数字 3D 几何体（低多边形或高多边形） em>？

Answer 1

你用引用from Apple's documentation回答了你自己的问题：

ARReferenceObject 仅包含 ARKit 识别现实世界对象所需的空间特征信息，而不是该对象的可显示 3D 重建。

如果您运行 sample code，您可以亲眼看到它在扫描期间和测试识别之后创建的参考对象的可视化 - 它只是一个稀疏的 3D 点云。 Apple 的 API 为您提供的内容当然没有摄影测量，在恢复网格中的真实结构方面也没有太多工作要做。

这并不是说这样的努力是不可能的——已经有一些第三方demoingHere基于ARKit的摄影测量实验。但是

1.不使用 ARKit 2 对象扫描，仅使用来自 ARFrame 的原始像素缓冲区和特征点。

2. 这些演示中的推断水平需要 非平凡的原创研发，因为它远远超出了那种信息 ARKit 自己提供。

Answer 2

RealityKit 2.0 |对象捕获 API

Object Capture API 在 WWDC 2021 上宣布，为您提供期待已久的摄影测量工具。在输出中，我们得到了具有高分辨率纹理的 USDZ 模型。

了解摄影测量HERE。

ARKit |网格重建

使用带有 LiDAR 和 ARKit 3.5/4.0/5.0 的 iOS 设备，您可以轻松地重建周围环境的拓扑图。场景重建功能在启动当前 ARSession 后立即开始工作。

Apple LiDAR 在 5 米范围内工作。扫描仪可以帮助您提高 ZDepth 通道的质量，以及人物/现实世界对象遮挡、运动跟踪、即时物理接触体和光线投射等功能。

激光雷达扫描仪的其他令人敬畏的特点是：

• 您可以在光线不足的房间内使用您的设备
• 您可以追踪没有任何特征的纯白墙壁
• 您几乎可以立即检测到飞机

考虑一下，当您使用 LiDAR 时，扫描对象的质量并没有您预期的那么好。不扫描小细节。那是因为 Apple LiDAR 的分辨率不够高。