使用适用于iOS的Google Vision API添加MSQRD / SnapChat等2D或3D面部滤镜

Question

以下是我迄今为止所做的一些研究： - 我使用Google Vision API检测各种面部标记。这是参考：https://developers.google.com/vision/introduction

• 这是获取面部标志的示例代码的链接。它使用相同的Google Vision API。这是参考链接：https://github.com/googlesamples/ios-vision
• 我已经浏览了互联网上的各种博客，其中MSQRD基于谷歌的云愿景。这是它的链接：https://medium.com/@AlexioCassani/how-to-create-a-msqrd-like-app-with-google-cloud-vision-802b578b30a0
• 对于Android，这里是参考：https://www.raywenderlich.com/158580/augmented-reality-android-googles-face-api
• 有多个付费SDK完全填满了目的。但它们的价格很高。所以无法负担得起。例如：

1）https://deepar.ai/contact/

2）https://www.luxand.com/

有可能有一些人认为这个问题与此重复：Face filter implementation like MSQRD/SnapChat

但该线程差不多是1.6岁，没有正确答案。

我已经阅读了这篇文章：https://dzone.com/articles/mimic-snapchat-filters-programmatically-1

它描述了实现所需结果的所有必要步骤。但他们建议使用自己制作的SDK。

根据我的研究，没有足够好的材料可以帮助完全填充所需的结果，如MSQRD面部过滤器。

还有一个Github存储库周围有相同的实现，但它没有提供相同的信息。 https://github.com/rootkit/LiveFaceMask

现在我的问题是：

如果我们使用Google Vision API（甚至使用DiLib）获得面部标志，我可以在其上添加2d或3d模型。在这种格式中需要这样做需要一些X，Y坐标和顶点计算。

注意：我已经浏览了Googles“GooglyEyesDemo”，它在眼睛上添加了预览图层。它基本上增加了一个面部视图。所以我不想在它上面添加UIView一维预览图层。附图供参考：

https://developers.google.com/vision/ios/face-tracker-tutorial

创建模型：我还想知道如何为像MSQRD这样的实时过滤器创建模型。我欢迎任何软件或格式建议。希望我所做的研究能够帮助他人，而其他人的经验可以帮助我达到预期的效果。如果需要更多详细信息，请与我们联系。**

随附图片以供参考：

谢谢哈利

Answer 1

Canvas类在android中用于绘制这样的3D / 2D模型或者可以使用IOS的核心图形。您可以做的是检测面部组件，获取其位置点并在其上绘制图像。 Consider going through this

Answer 2

您需要预测x，y，z坐标（查看this演示），使用x，y预测，然后查找通用3d模型和相机的参数，这些参数将提供当前x，y的最接近投影。