omxplayer AVPacket

Question

嗨，我正在尝试使用 OpenMax 组件和来自 GitHub 的 hello_video 示例解码视频。 我只需编辑 video.c 并替换 AVFormat 上的“main frame while”-read frame packet for read not only *.h264 files 。 （我需要阅读 mp4、mov、mkv ......）.. 因此，使用我使用 ffmpeg 生成的 test.h264 文件和其他文件，一切正常，并且在屏幕上我可以看到电影。

ffmpeg -i file.mp4 -vcodec copy -vbsf h264_mp4toannexb out.h264

但是如果我打开 test.mp4 文件，我在屏幕上看不到图片，登录控制台显示数据正确读取并正确解析到视频解码器的输入缓冲区。 谁能解释一下为什么我在第二次测试时在屏幕上看不到任何东西？

    do{
    printf("###before DO!\n");
status=av_read_frame(pFormatCtx,&packet);
//only for video
if(packet.stream_index==*video_stream_index){
printf("=>Read frame, status: %d, index: %d, stream index: %d, packet duration: %d, size: %d\n",pstatus,index++,packet.stream_index,packet.duration,packet.size);
int psize=packet.size;
int preaded=0;
double pts=packet.duration;
while(psize!=0){
     buf = ilclient_get_input_buffer(video_decode, 130, 1);
      buf->nFlags = 0;
      buf->nOffset = 0;
      uint64_t val = (uint64_t)(pts == DVD_NOPTS_VALUE) ? 0 : pts;
     if(first_frame==true){buf->nFlags = OMX_BUFFERFLAG_STARTTIME;first_frame=false;}else{buf->nFlags = OMX_BUFFERFLAG_TIME_UNKNOWN;}
buf->nTimeStamp = ToOMXTime(val);
buf->nFilledLen = (psize > buf->nAllocLen) ? buf->nAllocLen : psize;
memcpy(buf->pBuffer, packet.data+preaded,buf->nFilledLen);
psize-=buf->nFilledLen;
preaded+=buf->nFilledLen;
     if(psize == 0){buf->nFlags|=OMX_BUFFERFLAG_ENDOFFRAME;printf("#######################################OMX_BUFFERFLAG_ENDOFFRAME\n");}
printf("=>BUFF size: %d\n",buf->nFilledLen);
OMX_ERRORTYPE r;
if(pstatus==0){if(r=OMX_EmptyThisBuffer(ILC_GET_HANDLE(video_decode), buf) != OMX_ErrorNone){status = -6;printf("Failed, OMX_EmptyThisBuffer, error: 0x%08x , buf allocate: %d, buf lenght: %d \n", r,buf->nAllocLen,buf->nFilledLen);break;}}
}//while psize
av_free_packet(&packet);
   }//if index  
}//do
while(pstatus==0);

Answer 1

登录控制台显示数据正确读取并正确解析到视频解码器的输入缓冲区

你这是什么意思？最有可能的是，您从 mp4 解复用的数据包不是 OMX 解码器所期望的附件 b 形式，这是 .h264 文件（流）格式的自然形式。所以，在你读完一个 NALU 之后，把 header 替换为 00000001（四个字节，最后一位打开），你可能会很幸运。

其他需要考虑的事情：解码器可能会或可能不会期望 SPS/PPS 带有第一个 I 帧，依此类推...

更新： LLVM 测试套件有一个 C source file 可以做到这一点。您可能还对执行相反转换的参考 AVC/h264 implementation 感兴趣 - 从附件 B 到 NALU。