GPUImage内存错误

Question

我正在向 iOS 上录制视频的帧图像添加失真效果。对于分辨率为 640 x 640 的 14 秒视频，应用程序因内存错误而崩溃。我认为所有内存都被正确释放了。

我觉得很奇怪，分析器告诉我应用程序最大消耗大约 20 MB！我也找不到内存泄漏。 CoreImage 库在整个处理过程中确实积累了大约 580 MB 的内存，但内存在处理完每个帧后都会释放，因此不会导致崩溃。

如果我将失真过滤器注释掉，一切正常，所以我假设错误在过滤部分。我正在安装 iOS 8 的 iPhone 5s 上进行测试。

这是 GPUImage 中的错误吗？ 为什么我无法分析过多的内存消耗？

感谢每一个回答！ :)

这是相关的代码：

- (CIImage *) render:(CIImage*)targetImage imageContext:(CIContext*) imageContext
        facialFeatures:(NSArray*)facialFeatures currentFrameInd:(int)frameInd
{
    if ( !facialFeatures ) return targetImage;

    @autoreleasepool {
        CGImageRef inputImage = [imageContext createCGImage:targetImage fromRect:[targetImage extent]];

        GPUImagePicture *sourcePicture = [[GPUImagePicture alloc] initWithCGImage:inputImage];
        GPUImageOutput *currentOutput = sourcePicture;

        // Search through multiple faces.
        for ( ArtechFacialFeature *facialFeature in facialFeatures ) {
            // Create the distortion for one face.
            for ( ArtechImageDistortionDescription *distortion in distortions ) {
                GPUImageFilter *imageFilter = [self createDistortionFilter:distortion
                    facialFeature:facialFeature imageExtent:targetImage.extent];

                [currentOutput addTarget:imageFilter];
                currentOutput = imageFilter;
            }
        }

        [currentOutput useNextFrameForImageCapture];
        [sourcePicture processImage];

        UIImage *currentFilteredVideoFrame = [currentOutput imageFromCurrentFramebuffer];

        targetImage = [targetImage initWithCGImage:currentFilteredVideoFrame.CGImage];

        [sourcePicture removeAllTargets];

        currentFilteredVideoFrame = nil;
        sourcePicture = nil;

        currentOutput = nil;

        CFRelease( inputImage );
    }

    return targetImage;
}

Answer 1

让我印象深刻的一件事是，您正在为每个传入的帧创建一个新图像和一组新过滤器。这将非常低效，并且可能会使 GPUImage 中的内部帧缓冲区缓存系统过载。

相反，从 GPUImage 纹理输入开始创建过滤器链。分配过滤器一次，只需在每个新帧上更改它们的属性。对于输入，如果您将核心图像输出渲染到由纹理支持的 OpenGL ES 上下文中，然后将该纹理输入到 GPUImage 中，您将避免使用极其昂贵（内存和性能方面）的 GPU->CPU- >GPU 路径并将所有内容保留在 GPU 上。

过滤器创建一次并为每个帧重复使用，内部帧缓冲区缓存机制应该能够将内存使用限制在一个恒定且相对较低的值。

由于这里的退化情况，确实可能存在泄漏（我不经常以这种频率构建和拆除过滤器，因此在解除分配中可能存在竞争条件），但试图重新设计以重用在任何情况下，过滤器都可能是更好的选择。

关于您报告的 20 MB 值，这很可能来自分配工具，它隐藏了 OpenGL ES 内存使用情况。而是查看内存监视器，以真正了解您的总应用程序内存使用情况。我敢打赌它会高很多。

Answer 2

- (void)addObservers {
    [[NSNotificationCenter defaultCenter]addObserver:self
                                        selector:@selector(applicationDidEnterBackground:)
                                            name:UIApplicationDidEnterBackgroundNotification
                                          object:nil];

    [[NSNotificationCenter defaultCenter]addObserver:self
                                        selector:@selector(applicationDidBecomeActive:)
                                            name:UIApplicationDidBecomeActiveNotification
                                          object:nil];
}

- (void)removeObservers {
    [[NSNotificationCenter defaultCenter]removeObserver:self
                                               name:UIApplicationDidEnterBackgroundNotification
                                             object:nil];

    [[NSNotificationCenter defaultCenter]removeObserver:self
                                               name:UIApplicationDidBecomeActiveNotification
                                             object:nil];
}