从 ARKit 获取特征点

Question

我想抓取ARkit找到的原始特征点，这个API暴露了稀疏点云​​：https://developer.apple.com/documentation/arkit/arframe/2887449-rawfeaturepoints，并将其输出为vector_float3的列表。我还想在这些点云坐标中的每一个处获得特征点的矢量表示，例如它可以是 SIFT、SURF、BRIEF 或ARkit 内部使用的任何东西。我可以从视频源中抓取图像并在图像上运行特征检测器，但不能保证特征点与稀疏点云中的点处于相同的 3D 坐标！

Answer 1

Apple 没有公开定位/生成特征点的内部机制。这对于 Apple API 来说很典型——他们倾向于在不披露任何底层算法细节的情况下公开结果，因为这让他们可以在未来更改此类算法，从而自动改善所有使用 API 的运输产品的体验。

事实上，Apple 引用了这个原因，并暗示应该避免分析使用点云......就在您链接的文档页面上：

ARKit 不保证原始特征点的数量和排列在软件版本之间，甚至在同一会话的后续帧之间保持稳定。