AVFoundation：从预览视图中获取 CMSampleBuffer（同时录制）

Question

我正在尝试创建具有以下功能的相机捕获会话：

1. 预览
2. 照片拍摄
3. 视频捕捉
4. 实时帧处理 (AI)

虽然前两件事不是问题，但我还没有找到单独制作后两件事的方法。

目前，我使用单个AVCaptureVideoDataOutput 并首先运行视频录制，然后在同一个函数中在同一个队列中进行帧处理。 （见代码here和here）

唯一的问题是视频捕获捕获 4k 视频，我真的不希望帧处理器接收 4k 缓冲区，因为这会非常慢并阻止视频录制（丢帧）。

理想情况下，我想创建一个 AVCaptureDataOutput 用于 4k 视频录制，另一个接收较低（预览？）分辨率的帧 - 但您不能在同一捕获会话中使用两个 AVCaptureDataOutputs。

我想也许我可以“挂钩”预览层以从那里接收 CMSampleBuffers，就像 captureOutput(...) 函数一样，因为它们是预览大小的分辨率，有谁知道这是否可能?

Answer 1

对于这样的事情，我建议实现自定义渲染器流程。 你只需要一个 AVCaptureDataOutput，无需 iOS 提供的系统 PreviewLayer。

• 将配色方案设置为 YUV（比 BGRA 更紧凑）
• 在 AVCaptureDataOutput 中获取 CMSampleBuffer
• 将 CMSampleBuffer 发送到金属纹理。
• 在 Metal 中创建调整大小的低分辨率纹理
• 高分辨率纹理发送到渲染器在 MTKLView 中绘制它
• 低分辨率纹理发送到 CVPixelBuffer，然后您可以将其转换为 CGImage、CGImage、Data。
• 将低分辨率图像发送到神经网络

我在 Medium 上有文章：link。您可以将其用作示例。