带有音频 AVAssetWriterInput 的 appendSampleBuffer “泄漏”内存直到 endSessionAtSourceTime答案

【问题标题】：appendSampleBuffer with an audio AVAssetWriterInput "leaks" memory until endSessionAtSourceTime带有音频 AVAssetWriterInput 的 appendSampleBuffer “泄漏”内存直到 endSessionAtSourceTime
【发布时间】：2013-01-28 15:21:24
【问题描述】：

我对@987654326@ 有一个奇怪的内存“泄漏”。我同时写视频和音频，所以我有一个AVAssetWriter，有两个输入，一个用于视频，一个用于音频：

self.videoWriter = [[[AVAssetWriter alloc] initWithURL:[self.currentVideo currentVideoClipLocalURL]
                                              fileType:AVFileTypeMPEG4
                                                 error:&error] autorelease];
...
self.videoWriterInput = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeVideo
                                                           outputSettings:videoSettings];
self.videoWriterInput.expectsMediaDataInRealTime = YES;
[self.videoWriter addInput:self.videoWriterInput];
...
self.audioWriterInput = [AVAssetWriterInput assetWriterInputWithMediaType:AVMediaTypeAudio
                                                           outputSettings:audioSettings];
self.audioWriterInput.expectsMediaDataInRealTime = YES;
[self.videoWriter addInput:self.audioWriterInput];

我开始写作，表面上一切正常。视频和音频被写入并对齐等。但是，我将代码放入分配工具并注意到以下内容：

音频字节被保留在内存中，稍后我将证明这一点。这就是内存的增长。音频字节仅在我调用[self.videoWriter endSessionAtSourceTime:...] 后才被释放，您认为这是内存使用量的急剧下降。这是我的音频编写代码，它作为一个块发送到串行队列中：

@autoreleasepool
{
    // The objects that will hold the audio data
    CMSampleBufferRef sampleBuffer;
    CMBlockBufferRef  blockBuffer1;
    CMBlockBufferRef  blockBuffer2;

    size_t nbytes = numSamples * asbd_.mBytesPerPacket;

    OSStatus status = noErr;
    status = CMBlockBufferCreateWithMemoryBlock(kCFAllocatorDefault,
                                                data,
                                                nbytes,
                                                kCFAllocatorNull,
                                                NULL,
                                                0,
                                                nbytes,
                                                kCMBlockBufferAssureMemoryNowFlag,
                                                &blockBuffer1);

    if (status != noErr)
    {
        NLog(@"CMBlockBufferCreateWithMemoryBlock error at buffer 1");
        return;
    }

    status = CMBlockBufferCreateContiguous(kCFAllocatorDefault,
                                           blockBuffer1,
                                           kCFAllocatorDefault,
                                           NULL,
                                           0,
                                           nbytes,
                                           kCMBlockBufferAssureMemoryNowFlag | kCMBlockBufferAlwaysCopyDataFlag,
                                           &blockBuffer2);

    if (status != noErr)
    {
        NSLog(@"CMBlockBufferCreateWithMemoryBlock error at buffer 2");
        CFRelease(blockBuffer1);
        return;
    }

    // Finally, create the CMSampleBufferRef
    status = CMAudioSampleBufferCreateWithPacketDescriptions(kCFAllocatorDefault,
                                                             blockBuffer2,
                                                             YES,   // Yes data is ready
                                                             NULL,  // No callback needed to make data ready
                                                             NULL,
                                                             audioFormatDescription_,
                                                             1,
                                                             timestamp,
                                                             NULL,
                                                             &sampleBuffer);


    if (status != noErr)
    {
        NSLog(@"CMAudioSampleBufferCreateWithPacketDescriptions error.");
        CFRelease(blockBuffer1);
        CFRelease(blockBuffer2);
        return;
    }

    if ([self.audioWriterInput isReadyForMoreMediaData])
    {
        if (![self.audioWriterInput appendSampleBuffer:sampleBuffer])
        {
            NSLog(@"Couldn't append audio sample buffer: %d", numAudioCallbacks_);
        }
    } else {
        NSLog(@"AudioWriterInput isn't ready for more data.");
    }

    // One release per create
    CFRelease(blockBuffer1);
    CFRelease(blockBuffer2);
    CFRelease(sampleBuffer);
}

如您所见，每次创建时我都会释放每个缓冲区。我已经将“泄漏”追溯到附加音频缓冲区的行：

[self.audioWriterInput appendSampleBuffer:sampleBuffer]

我通过注释掉该行向自己证明了这一点，之后我得到了以下“无泄漏”分配图（当然，现在录制的视频现在没有音频了）：

我尝试了另一件事，即添加回appendSamplebuffer 行，而不是双重释放blockBuffer2：

CFRelease(blockBuffer1);
CFRelease(blockBuffer2);
CFRelease(blockBuffer2); // Double release to test the hypothesis that appendSamplebuffer is retaining this
CFRelease(sampleBuffer);

这样做没有导致双重释放，这表明blockBuffer2在该点的保留计数为2。这产生了相同的“无泄漏" 分配图，除了当我调用[self.videoWriter endSessionAtSourceTime:...] 时，我从双重释放中崩溃（表明self.videoWriter 正试图释放它所有指向已传入的blockBuffer2s 的指针） .

如果相反，我尝试以下方法：

CFRelease(blockBuffer1);
CFRelease(blockBuffer2);
CMSampleBufferInvalidate(sampleBuffer); // Invalidate sample buffer
CFRelease(sampleBuffer);

然后[self.audioWriterInput appendSampleBuffer:sampleBuffer] 和在此之后的每个调用都开始调用附加视频帧。

所以我的结论是AVAssetWriter 或AVAssetWriterInput 将保留blockBuffer2 直到视频完成录制。显然，如果视频录制时间足够长，这可能会导致真正的内存问题。我做错了吗？

编辑：我得到的音频字节是 PCM 格式，而我正在编写的视频格式是 MPEG4，而该视频的音频格式是 MPEG4AAC。视频编写器是否有可能正在执行 PCM --> AAC 格式，这就是它被缓冲的原因？

【问题讨论】：

我确定您已经环顾四周，但您是否看到这两个问题/答案。他们可能会有所帮助/相关。 1) stackoverflow.com/questions/4914853/… 2) stackoverflow.com/questions/11274652/…
感谢@JSuar 的建议。我已经尝试过第一个，但调用 CMSampleBufferInvalidate 似乎会破坏所有未来对视频编写器的写入。第二个看起来很有趣，但我不确定并发队列或串行队列是否会解释内存“泄漏”，这似乎是由保留音频块的视频写入引起的。
有没有可能你只是写音频比视频快很多，所以需要缓冲以保持交错正确？
您是否需要在附加逻辑中调用CFRelease(sampleBuffer)？看这个例子：developer.apple.com/library/ios/documentation/AVFoundation/…:
@GeraintDavies 我正在实时收到两个回调，所以从这个意义上说，音频和视频是同步的。

标签： ios objective-c memory-leaks audio-recording avassetwriter

【解决方案1】：

由于您已经等待了一个月的答案，我会给您一个不太理想但可行的答案。

您可以使用 ExtendedAudioFile 函数来编写单独的文件。然后你可以用 AVComposition 一起播放视频和音频。如果您需要在录制结束时将它们合成，我认为您可以使用 AVFoundation 将 caf 和视频合成在一起而无需重新编码。

这会让你跑起来，然后你可以在闲暇时解决内存泄漏。

【讨论】：