将 AVAssetWriter 与原始 NAL 单元一起使用

Question

我注意到在 AVAssetWriterInput 的 iOS 文档中，您可以将 nil 传递给 outputSettings 字典以指定不应重新编码输入数据。

用于对附加到输出的媒体进行编码的设置。传递 nil 以指定不应重新编码附加的样本。

我想利用此功能传入原始 H.264 NAL 流，但我无法将原始字节流调整为 CMSampleBuffer，我可以将其传入 AVAssetWriterInput 的 appendSampleBuffer 方法。我的 NAL 流仅包含 SPS/PPS/IDR/P NAL（1、5、7、8）。我无法找到有关如何将预编码的 H264 数据与 AVAssetWriter 一起使用的文档或结论性答案。生成的视频文件无法播放。

如何将 NAL 单元正确打包到 CMSampleBuffers 中？我需要使用起始代码前缀吗？长度前缀？我是否需要确保每个CMSampleBuffer 只放一个 NAL？我的最终目标是使用 H264/AAC 创建 MP4 或 MOV 容器。

这是我一直在玩的代码：

-(void)addH264NAL:(NSData *)nal
{
    dispatch_async(recordingQueue, ^{
        //Adapting the raw NAL into a CMSampleBuffer
        CMSampleBufferRef sampleBuffer = NULL;
        CMBlockBufferRef blockBuffer = NULL;
        CMFormatDescriptionRef formatDescription = NULL;
        CMItemCount numberOfSampleTimeEntries = 1;
        CMItemCount numberOfSamples = 1;


        CMVideoFormatDescriptionCreate(kCFAllocatorDefault, kCMVideoCodecType_H264, 480, 360, nil, &formatDescription);
        OSStatus result = CMBlockBufferCreateWithMemoryBlock(kCFAllocatorDefault, NULL, [nal length], kCFAllocatorDefault, NULL, 0, [nal length], kCMBlockBufferAssureMemoryNowFlag, &blockBuffer);
        if(result != noErr)
        {
            NSLog(@"Error creating CMBlockBuffer");
            return;
        }
        result = CMBlockBufferReplaceDataBytes([nal bytes], blockBuffer, 0, [nal length]);
        if(result != noErr)
        {
            NSLog(@"Error filling CMBlockBuffer");
            return;
        }
        const size_t sampleSizes = [nal length];
        CMSampleTimingInfo timing = { 0 };
        result = CMSampleBufferCreate(kCFAllocatorDefault, blockBuffer, YES, NULL, NULL, formatDescription, numberOfSamples, numberOfSampleTimeEntries, &timing, 1, &sampleSizes, &sampleBuffer);

        if(result != noErr)
        {
            NSLog(@"Error creating CMSampleBuffer");
        }
        [self writeSampleBuffer:sampleBuffer ofType:AVMediaTypeVideo];
    });
}

请注意，我在writeSampleBuffer 方法内的样本缓冲区上调用CMSampleBufferSetOutputPresentationTimeStamp，我认为这是在我实际尝试附加它之前的有效时间。

感谢任何帮助。

Answer 1

我设法在 VLC 但不是 QuickTime 中播放视频。我使用类似于我上面发布的代码将 H.264 NAL 放入 CMSampleBuffers。

我有两个主要问题：

1. 我没有正确设置 CMSampleTimingInfo（正如我上面的评论所述）。
2. 我没有正确打包原始 NAL 数据（不确定记录在哪里，如果有的话）。

为了解决 #1，我设置了 timing.duration = CMTimeMake(1, fps);，其中 fps 是预期的帧速率。然后我设置timing.decodeTimeStamp = kCMTimeInvalid; 表示样本将按解码顺序给出。最后，我通过计算绝对时间来设置timing.presentationTimeStamp，我也将其与startSessionAtSourceTime一起使用。

为了解决 #2，通过反复试验，我发现以以下形式给出我的 NAL 单元是有效的：

[7 8 5] [1] [1] [1]..... [7 8 5] [1] [1] [1]..... (repeating)

每个 NAL 单元都以等于 0x00000001 的 32 位起始码为前缀。

大概出于同样的原因，它没有在 QuickTime 中播放，我仍然无法将生成的 .mov 文件移动到相册（ALAssetLibrary 方法 videoAtPathIsCompatibleWithSavedPhotosAlbum 未能说明“无法播放电影。”希望对发生的事情有想法的人可以发表评论。谢谢！