AVCaptureVideoPreviewLayer 在 iOS 中添加叠加层和捕捉照片

Question

最初的想法是通过AVCaptureSession 启动摄像头流，在原始CMSampleBuffer 中找到人脸，然后在AVCaptureVideoPreviewLayer 上添加一些图像作为图层，然后截屏。

完成之后，后来发现UIGraphicsGetImageFromCurrentImageContext不能和AVCaptureVideoPreviewLayer一起使用，所以截图不能解决我这里的目的。

所以我使用Metal 和MTKView 来执行一些实时渲染，并且结合CoreImage 滤镜和Metal 效果很好。我已经知道如何检测面部并使用内置的 CoreImage 过滤器改变面部的那部分，但我找不到合适的方法来将图像添加到另一个图像上。

如何在背景图像中的定位方面混合两个图像？我有 CIImage 可以使用。

Answer 1

您可以将叠加层加载到CIImage，然后使用transformed(by matrix: CGAffineTransform) 将其移动到面部位置，最后使用composited(over dest: CIImage) 将其与视频缓冲区中的CIImage 混合。 您可能需要做一些工作才能在不同的坐标空间之间进行转换。

还有很多更复杂的合成过滤器可用。查看CICategoryCompositeOperation 类别中的filters。