使用 ARKit 3 进行手指和面部跟踪答案

【问题标题】：Finger and face tracking using ARKit 3使用 ARKit 3 进行手指和面部跟踪
【发布时间】：2019-10-25 08:25:49
【问题描述】：

ARKit 3 是否支持手指追踪？如果可以，ARKit 3 能否与 TrueDepth 相机模块的人脸检测 API 结合使用，以运动特定手指相对于眼睛、鼻子和嘴巴的位置？如果没有，是否有一种简单的方法来进行手指跟踪，而无需像使用 Metal API 那样深入？

注意：手指跟踪是指跟踪手指的数量和/或可见的手指。

【问题讨论】：

标签： ios arkit face-detection

【解决方案1】：

您可以使用 ARKit 3 的人体跟踪功能（参见 Apple 的 Capturing Body Motion in 3D 示例代码）获得被跟踪人体手指的非常接近的位置，但您使用 ARBodyTrackingConfiguration 进行人体跟踪功能，并且该配置不支持面部跟踪。此外，手指的关节没有被跟踪，因此虽然您可以使用被跟踪的关节（即手腕）获得它们的大致位置，但 ARKit 不会告诉您哪些手指是伸展的或收缩的。

【讨论】：

是否可以获得在相机中可见的手指位置？我没有带 A12 芯片的设备，所以我想收集有关它的信息，谢谢
ARKit (v3) 无法帮助您进行精确的手指跟踪。我会探索使用 Core ML。但是，这需要您找到（或训练自己的）机器学习模型来为您进行手指检测。如果您有这样的模型，请参阅Recognizing and Labeling Arbitrary Objects 示例代码以将其与 ARKit 集成。