人脸跟踪和检测[关闭]答案

【问题标题】：Face tracking and detection [closed]人脸跟踪和检测[关闭]
【发布时间】：2016-04-19 10:10:22
【问题描述】：

我在 Unity3D 中工作，我想制作一个像 this 这样的应用程序。为此，我需要一个漂亮且流畅的 sdk/library/whatever，它使我能够使用所有面部标志（眼睛、鼻子、嘴巴）跟踪面部位置并检测标志位置的变化。

到目前为止，我已经尝试过OpenCV 插件，但它似乎工作得不太准确。例如。当我运行演示场景时，它会跟踪面部，但面部椭圆形大小非常容易且快速地被扭曲，并且地标位置甚至从一开始就扭曲了。

我也尝试过XZIMG 插件，但它根本不跟踪地标。如果我做错了什么，请纠正我。

我正在寻找合适的工具，它可以在 android 和 iOS 设备上为我提供所需的结果。我一直在研究 Google Mobile Vision，但到目前为止我不太确定它是否可以轻松地与 Unity 集成并用于 iOS 项目。

【问题讨论】：

您对人脸识别的期望是不切实际的。
可能你是对的，但我想先挖掘这个话题。
恐怕我完全正确，Sam :)
但是乔，我不需要人脸识别。

标签： android ios unity3d augmented-reality

【解决方案1】：

图像处理是一个高级主题。在使用之前了解您正在使用的库是如何工作的很好。

说到跟踪缓慢，这很正常，因为它是 CPU 密集型的，并且在移动设备上运行它是另一个问题。

修复缓慢的问题，

1。您拍摄一张图片，发送到服务器（发送到计算机而非移动设备）。服务器将执行所有处理并将结果返回返回到移动设备。

2。试试Vuforia。它不是免费的，但它适用于 Unity。

3.Go Native 并放弃使用 Unity。您需要更多帧，而使用 Unity 会带走一些帧。对于 Android，请使用 C++ NDK 和 OpenCV C++。对于 iOS，使用 Objective-C 和 OpenCV。图像处理是建议使用本机代码以获得最高帧速率的实例之一。

【讨论】：

感谢您的回复！我一直在使用 Vuforia 创建 AR 应用程序，但据我所知，这个插件并没有给我任何机会来跟踪面部和面部表情。您完全正确地选择原生是完全正确的，但不幸的是，由于跨平台的原因，就我而言，使用 Unity 至关重要。当我谈论 OpenCV 工作错误时，我的意思不是慢，我说错了：它扭曲了面部位置，但你可能对 Unity 让它工作错误是正确的。
如果你的意思是工作错误，我建议你首先在你的场景中实现一个 FPS 计数器。如果它
另外，如果你正在做的是拍照并应用效果（狮子、猫、狗），那么 Unity 就可以了。如果您正在进行实时跟踪并实时应用效果，那么我所说的原生东西就是要走的路。
OpenCv 人脸跟踪样本：docs.opencv.org/2.4/doc/tutorials/objdetect/cascade_classifier/… synaptitude.me/blog/smooth-face-tracking-using-opencv 你说你试过资产商店的那个。如果您购买了它，您可以在那里提出您的问题，他们的卖家可能会帮助您查明您的问题。 forum.unity3d.com/threads/released-opencv-for-unity.277080
问题是我什至还没有使用任何自定义代码。我只是在运行一个演示场景，虽然我总是 60 fps，但效果很糟糕。感谢您建议联系 OpenCV 开发人员，我会尽力与他们一起解决问题。

【解决方案2】：

您可能想要查看的另一个工具是 Banuba 的 Face Tracking Plugin for Unity。该工具支持人的眼睛、嘴巴、微笑、眉毛和面部其他部位的面部跟踪。除此之外，它还能够为面部添加不同的 AR 效果，例如面部滤镜、AR 面具、AR 镜头和生活表情符号。

【讨论】：