使用适用于 iOS 的 Google Vision API 添加 2D 或 3D 人脸过滤器，例如 MSQRD/SnapChat答案

【问题标题】：Add 2D or 3D Face Filters like MSQRD/SnapChat Using Google Vision API for iOS使用适用于 iOS 的 Google Vision API 添加 2D 或 3D 人脸过滤器，例如 MSQRD/SnapChat
【发布时间】：2018-05-04 22:47:39
【问题描述】：

以下是我迄今为止所做的一些研究： - 我使用 Google Vision API 来检测各种面部特征。这是参考：https://developers.google.com/vision/introduction

这是获取面部标志的示例代码的链接。它使用相同的 Google Vision API。这是参考链接：https://github.com/googlesamples/ios-vision
我浏览了互联网上的各种博客，上面写着基于 Google 的云愿景的 MSQRD。这是它的链接：https://medium.com/@AlexioCassani/how-to-create-a-msqrd-like-app-with-google-cloud-vision-802b578b30a0
对于 Android，以下是参考： https://www.raywenderlich.com/158580/augmented-reality-android-googles-face-api
有多个付费 SDK 可以完全满足目的。但它们的价格很高。所以买不起。例如：

1)https://deepar.ai/contact/

2)https://www.luxand.com/

有些人可能会将此问题视为重复： Face filter implementation like MSQRD/SnapChat

但是这个话题已经有将近 1.6 年的历史了，还没有正确的答案。

我浏览了这篇文章： https://dzone.com/articles/mimic-snapchat-filters-programmatically-1

它描述了实现预期结果的所有基本步骤。但他们建议使用自己制作的 SDK。

根据我的研究，没有足够好的材料来帮助完全填充所需的结果，例如 MSQRD 面部过滤器。

另一个 Github 存储库具有相同的实现，但它没有提供太多相同的信息。 https://github.com/rootkit/LiveFaceMask

现在我的问题是：

如果我们使用 Google Vision API（甚至使用 DiLib），我如何在其上添加 2d 或 3d 模型。这是什么格式需要像这样完成需要一些带有顶点的 X,Y 坐标计算。

注意：我浏览了 Google 的“GooglyEyesDemo”，其中添加了在眼睛上预览图层。它基本上增加了面部的视图。所以我不想在它上面添加 UIView 一维预览层。图片附上供参考：

https://developers.google.com/vision/ios/face-tracker-tutorial

创建模型：我也想知道如何为现场创建模型过滤器，如 MSQRD。我欢迎任何软件或格式推荐。希望我所做的研究能帮助其他人和其他人经验帮助我达到预期的结果。让我知道是否有需要更多详细信息。**

附上图片以供参考：

谢谢哈利

【问题讨论】：

您找到解决方案了吗？我有同样的任务需要执行。

标签： ios objective-c face-detection google-vision snapchat

【解决方案1】：

您需要预测 x,y,z 坐标（查看 this 演示），或者使用 x,y 预测，然后找到通用 3d 模型和相机的参数，该参数将给出当前 x 的最接近投影，是的。

【讨论】：

【解决方案2】：

canvas类在android中用于绘制这样的3D/2D模型或者IOS可以使用核心图形。您可以做的是检测面部组件，获取它们的位置点并在它们之上绘制图像。 Consider going through this

【讨论】：