Android MediaCodec 解码 h264 原始帧

Question

我正在使用 Android MediaCodec API 来解码 h264 帧。我可以解码和渲染视图上的帧。我的问题是解码器错过了很多帧，尤其是前几帧。 DecodeMediaCodec.dequeueOutputBuffer() 返回 -1。 a约150个h264帧，刚解码43帧。我找不到问题出在哪里。这是我的代码。

 /**
 * init decoder
 */
private void initDecodeMediaCodec()
{
    mDecodeMediaCodec = MediaCodec.createDecoderByType(MIME_TYPE);
    MediaFormat format = MediaFormat.createVideoFormat(MIME_TYPE,
            VIDEO_WIDTH_640,
            VIDEO_HEIGHT_480);

    mDecodeMediaCodec.configure(format,
            new Surface(mRemoteVideoView.getSurfaceTexture()),
            null,
            0);
    mDecodeMediaCodec.start();
    mDecodeInputBuffers = mDecodeMediaCodec.getInputBuffers();
    System.out.println("decode-----"
            + mDecodeMediaCodec.getCodecInfo().getName());
}

解码器初始化后，我将启动解码器线程。

 /**
 * 
 * @param frameData
 */
private void decode()
{
    new Thread(new Runnable()
    {
        @Override
        public void run()
        {
            while (true)
            {
                ByteBuffer decodeDataBuffer = null;
                try
                {
                    //take h264 frame from cache queue
                    decodeDataBuffer = decodeDataQuene.take();
                }
                catch (InterruptedException e)
                {
                    e.printStackTrace();
                }


                BufferInfo info = new BufferInfo();
                int inputBufferIndex = mDecodeMediaCodec.dequeueInputBuffer(-1);
                System.out.println("inputBufferIndex: " + inputBufferIndex);
                if (inputBufferIndex >= 0)
                {
                    ByteBuffer buffer = mDecodeInputBuffers[inputBufferIndex];
                    buffer.clear();
                    buffer.put(decodeDataBuffer.array());
                    mDecodeMediaCodec.queueInputBuffer(inputBufferIndex,
                            0,
                            decodeDataBuffer.array().length,
                            0,
                            0);
                    decodeDataBuffer.clear();
                    decodeDataBuffer = null;
                }

                int outputBufferIndex = mDecodeMediaCodec.dequeueOutputBuffer(info,
                       1000);
                System.out.println("outputBufferIndex: "
                        + outputBufferIndex);
                do
                {

                    if (outputBufferIndex == MediaCodec.INFO_TRY_AGAIN_LATER)
                    {
                        //no output available yet
                    }
                    else if (outputBufferIndex == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED)
                    {
                        //encodeOutputBuffers = mDecodeMediaCodec.getOutputBuffers();
                    }
                    else if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED)
                    {
                        MediaFormat formats = mDecodeMediaCodec.getOutputFormat();
                        //mediaformat changed
                    }
                    else if (outputBufferIndex < 0)
                    {
                        //unexpected result from encoder.dequeueOutputBuffer
                    }
                    else
                    {
                        mDecodeMediaCodec.releaseOutputBuffer(outputBufferIndex,
                                true);

                        outputBufferIndex = mDecodeMediaCodec.dequeueOutputBuffer(info,
                                0);
                        System.out.println("inner outputBufferIndex: "
                                + outputBufferIndex);
                    }
                } while (outputBufferIndex > 0);
            }
        }
    }).start();
}

有人知道为什么吗？我希望你的帮助。我的 android 设备是 nexus 7。

Answer 1

从MediaCodec#dequeueOutputBuffer() 返回 -1 是正常的。这只是意味着它还没有准备好任何输出。

情况并非如此，您将一个编码数据缓冲区交给MediaCodec，然后立即取回一个解码缓冲区。你给它一个数据缓冲区，它被发送到mediaserver 进程，该进程将其馈送到硬件 AVC 解码器，它可能仍在初始化，或者可能只是喜欢坐在几帧上。解码过程完成后，解码后的数据会通过mediaserver 传递回您的应用进程。

诀窍是，queueInputBuffer() 调用会立即返回。在正常操作中，解码器的输入端将在输出端之前运行几帧。当您完成输入输入时，您设置了流结束标志，当您看到输出上设置了 EOS 时，您就知道您已经到达终点。

您可以在bigflake 和Grafika 中找到各种工作示例。 DecodeEditEncodeTest 和 EncodeDecodeTest 示例专门用于原始 H.264，其他示例使用 MediaExtractor 和 MediaMuxer 处理 MP4 文件包装器。