以 640x480@60fps 快速拍摄视频

Question

我想使用最少的资源以 60fps 的速度捕捉视频，因为我需要每帧最多使用 16-20ms，并且大部分时间将被帧上的繁重计算占用。

我目前正在使用预设AVCaptureSessionPreset1280x720，但我想以640x480 进行计算，否则设备将跟不上。问题从这里开始：根据 Apple 允许开发人员执行的操作，我无法直接以 640x480@60fps 捕获，并且我当前的调整大小非常慢。

我正在使用金属内核着色器调整图像大小，但 98% 的时间（在 Instruments 中看到）都花在这两行上：

[_inputTexture replaceRegion:region mipmapLevel:0 withBytes:inputImage.data bytesPerRow:inputImage.channels() * inputImage.cols];
...
[_outputTexture getBytes:outputImage.data bytesPerRow:inputImage.channels() * outputImage.cols fromRegion:outputRegion mipmapLevel:0];

基本上在内存加载/存储指令中。这部分让我感到困惑，因为理论上 iPhone 上的内存是在 CPU 和 GPU 之间共享的。

你认为金属代码应该更快吗？我也有使用 Metal 的视频演示，它不会出汗（GPU 上约 1 毫秒，而调整大小最多需要约 20 毫秒）。

没有更快的调整图像大小的方法吗？您对 Image I/O 的体验如何？

更新：

当我将工作组的大小增加到 22x22x1 时，图像大小调整的性能从 GPU 的 20 毫秒提高到了 8 毫秒。仍然不是我想要的，但更好。

更新 2：

我切换到 CoreGraphics，它运行得足够快。见this post。

Answer 1

我认为您已经从 Capture 会话创建了 UIImage，并且您必须将其转换为金属纹理 (MTLTexture)。但你不应该这样做。下面是一个如何从 CaptureOutput 委托获取 MTLTexture 的示例：

- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {
CVPixelBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
CVPixelBufferLockBaseAddress(pixelBuffer, 0);
id<MTLTexture> inTexture = nil;
size_t width = CVPixelBufferGetWidth(pixelBuffer);
size_t height = CVPixelBufferGetHeight(pixelBuffer);

MTLPixelFormat pixelFormat = MTLPixelFormatBGRA8Unorm;

CVMetalTextureRef metalTextureRef = NULL;
CVReturn status = CVMetalTextureCacheCreateTextureFromImage(NULL, _textureCache, pixelBuffer, NULL, pixelFormat, width, height, 0, &metalTextureRef);
if(status == kCVReturnSuccess) {
    inTexture = CVMetalTextureGetTexture(metalTextureRef);
    CFRelease(metalTextureRef);
}
CVPixelBufferUnlockBaseAddress(pixelBuffer,0);
}