使用ffmpeg从.mov逐帧解析

Question

我正在尝试从 .mov 文件中解析 H.264 帧。我想我已经得出结论，来自 FFMPEG 的 AVFormat-part 的 mov.c 是要走的路。但是 mov.c 是未注释代码旁边的约 2600 行代码。我正在寻找使用 FFMPEG 的示例，尤其是解析任何文件类型的结构。不管是 MPEG4 还是 Quicktime Movie，因为它们的结构非常相似。

如果没有现有示例（我找不到任何示例），也许有人使用过它，可以给我几行代码，或者解释如何开始？

我正在尝试做的事情： 我使用 AVCaptureSession 从摄像机捕获样本，然后将这些样本编码为 H264 并在 AVAssetsWriter、AVAssetsWriterInput 和 AVAssetsWriterInputPixelBufferAdaptor 的帮助下写入文件。原因是我不能直接访问硬件 H264 编码，因为苹果不允许这样做。我现在需要做的（我认为不确定）是解析出来的：

.mov 文件中的“mdat”-atom（电影数据，我认为可能不止一个）。 然后是“vide”-atom，然后是vide-atom（视频数据样本，可能不止一个）。我认为会有几个我相信是框架的原子。这些将是“avc1”类型（这是 H264 的类型）。 请纠正我，因为我很确定我还没有正确理解所有这些。

然后我的问题是，我将如何解析单帧。我一直在阅读the documentation 并查看了iFrameExtractor（这不是很有帮助，因为它会解码帧）。当我应该使用 FFMPEG-AVFormat 中的mov.c 时，我想我已经正确理解了，但我不确定。

编辑： 我现在正在尝试这样：

1. 我运行了 iFrameExtractor 的略微简化的初始化函数 iFrameExtractor，它在 .mov 文件中查找视频流。

2. 我得到这样的框架数据：

   AVPacket packet;
   av_read_frame(pFormatCtx, &packet);
   NSData *frame;
   if(packet.stream_index == videoStream){
       frame = [NSData dataWithBytes:packet.data length:packet.size];
   }
   videoStream++;
   av_free_packet(&packet);
   return frame;
   

然后我将它传递给 NSOperation 的一个子类，在该子类中保留它以等待上传。 但我收到 EXC_BAD_ACC，从帧复制数据时我做错了吗？有任何想法吗。当我尝试使用其（非原子，保留）属性设置类变量NSData* frame 时，我得到了 EXC_...。 （它在合成行上显示 EXC_BAD_ACC）

Answer 1

我使用以下内容来解析 mov 文件中的每一帧。

-(NSData *)nextFrame {
    AVPacket packet;
    NSData *frame = nil;

    while(!frame && av_read_frame(pFormatCtx, &packet)>=0) {

        if(packet.stream_index == streamNo) {
            frame = [[[NSData alloc] initWithBytes:packet.data length:packet.size] autorelease];
        }
        av_free_packet(&packet);
    }
    return frame;
}

虽然要注意，因为 av_read_frame 不验证帧，但这是在解码步骤中完成的。这意味着返回的“帧”可能包含不属于实际帧的额外信息。

要初始化 AVFormatContext *pFormatCtx 和 AVCodecContext *pCodecCtx，我使用以下代码（我相信它源自 Martin Böhme 的示例代码）：

    AVCodec *pCodec;

    // Register all formats and codecs
    av_register_all();

    // Open video file
    if(avformat_open_input(&pFormatCtx, [moviePath cStringUsingEncoding:NSASCIIStringEncoding], NULL, NULL)!=0)
        goto initError; // Couldn't open file

    // Retrieve stream information
    if(avformat_find_stream_info(pFormatCtx,NULL)<0)
        goto initError; // Couldn't find stream information

    // Find the video stream
    streamNo = -1;
    for(int i=0; i<pFormatCtx->nb_streams; i++){
        if(pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO)
        {
            streamNo = i;
            break;
        }
    }
    if(streamNo == -1)
        goto initError; // Didn't find a video stream

    // Get a pointer to the codec context for the video stream
    pCodecCtx=pFormatCtx->streams[streamNo]->codec;

    // Find the decoder for the video stream
    pCodec=avcodec_find_decoder(pCodecCtx->codec_id);
    if(pCodec==NULL)
        goto initError; // Codec not found

    // Open codec
    if(avcodec_open2(pCodecCtx, pCodec, NULL)<0)
        goto initError; // Could not open codec

    return self;

initError:
    NSLog(@"initError in VideoFrameExtractor");
    [self release];
    return nil;

希望这对将来的某人有所帮助。

Answer 2

如果您将 H264 流式传输到 iOS，则需要分段流式传输（也称为苹果直播流式传输）。

这是一个开源项目：http://code.google.com/p/httpsegmenter/

Answer 3

有一个很好的关于使用 libavcodec/libavformat here 的教程。听起来您感兴趣的是他们尚未实现的DoSomethingWithTheImage() 函数。