在实时相机预览上应用自定义相机滤镜 - Swift

Question

我希望在 Swift 3/4 中制作一个原生 iPhone iOS 应用程序，该应用程序使用后置摄像头的实时预览，并允许用户应用内置相机应用程序中的过滤器。我的想法是通过调整色调/RGB/亮度级别等来创建自己的过滤器。最终我想创建一个色调滑块，允许用户在实时预览中过滤特定颜色。

我遇到的所有类似问题的答案都是 > 2 年前发布的，我什至不确定它们是否为我提供了我正在寻找的相关、最新的解决方案。

我不想先拍照，然后再应用滤镜。我正在寻找与本机相机应用程序相同的功能。在您看到相机预览时实时应用过滤器。

如何创建此功能？这可以使用 AVFoundation 来实现吗？ AVKit？这个功能可以用 ARKit 实现吗？

Answer 1

是的，您可以通过使用 AVFoundation Capture 系统捕获视频并使用您自己的渲染器来处理和显示视频帧，从而将图像过滤器应用于相机源。

Apple 有一个名为 AVCamPhotoFilter 的示例代码项目，它就是这样做的，并展示了使用 Metal 或 Core Image 的多种处理方法。重点是：

1. 使用AVCaptureVideoDataOutput 获取实时视频帧。
2. 使用CVMetalTextureCache 或CVPixelBufferPool 让您最喜欢的渲染技术可以访问视频像素缓冲区。
3. 使用 Metal（或 OpenGL 或其他）和 Metal 着色器或 Core Image 过滤器绘制纹理，以便在渲染过程中在 CPU 上进行像素处理。

顺便说一句，如果您只想对摄像头进行图像处理，那么 ARKit 就太过分了。 ARKit 适用于您想了解相机与现实世界空间的关系时，主要用于绘制看似存在于现实世界中的 3D 内容等目的。