解码器的输出表面如何传递到编码器的输入表面？

Question

我正在尝试了解表面对表面方法如何与 MediaCodec 配合使用。在仅 ByteBuffer 的方法中，解码的数据放置在 OutputBuffers 中。可以手动处理这些未编码的数据，然后将其传递给 Encoder 的 InputBuffers。

如果我们看一个来自 Android MediaCodec CTS 的示例，它使用表面到表面的方法在解码器和编码器之间传递数据，我们将解码器配置为将解码后的数据输出到名为 outputSurface 的表面上，我们配置用于在称为 inputSurface 的 Surface 上接收数据的编码器。

在文档中，在Encoder的配置中createInputSurface和这个surface的使用是这样描述的：

createInputSurface()：请求 Surface 用作编码器的输入，代替输入缓冲区。

换句话说，这在 CTS 示例中的 ByteBuffers 声明中可见：编码器没有 InputBuffers。你有：

• DecoderInputBuffers（从 MediaExtractor 接收视频轨道样本）
• DecoderOutputBuffers（输出拉取解码的 yuv 帧）
• 什么都没有。 （嗯...输入表面。）
• EncoderOutputBuffers（输出以拉取重新编码的内容以传递给复用器）

您无需在 Encoder InputBuffers 中排队数据，而是使用以下代码行：

outputSurface.awaitNewImage();
outputSurface.drawImage();
inputSurface.setPresentationTime(videoDecoderOutputBufferInfo.presentationTimeUs * 1000);
inputSurface.swapBuffers();

Decoder 的 ouputSurface 内容是如何传递给 Encoder 的 inputSurface 的？幕后具体发生了什么？

Answer 1

解码器/编码器的输出/输入Surface分别是一个特殊配置（物理上连续或保留等）一块内存哪些专用硬件（例如，GPUs、硬件（加速）编解码器）或软件模块可以以最适合性能需求的方式使用（通过使用硬件加速、DMA 等功能）。

更具体地说，例如，在当前上下文中，解码器的输出 Surface 由 SurfaceTexture 支持，因此它可以在 OpenGL environment 中用作 external 纹理在渲染到 Surface 之前进行任何类型的处理，编码器可以从中读取和编码以创建最终视频帧。

并非巧合，OpenGL 只能渲染到这样的Surface。

所以解码器充当原始视频帧的提供者，表面（纹理）载体 , OpenGL medium 将其渲染到 Encoder 的 input Surface 这是 destination 用于（待编码的）视频帧。

为了进一步满足您的好奇心，请查看Editing frames and encoding with MediaCodec了解更多详情。

[编辑]

您可以查看grafikaContinuous Camera 或Show + capture camera 中的子项目，它们当前将相机帧（馈送到 SurfaceTexture）渲染到视频（和显示）。所以本质上，唯一的变化是 MediaCodec 将帧馈送到 SurfaceTexture 而不是相机。

Google CTS DecodeEditEncodeTest 做的完全一样，可以作为参考，让学习曲线更平滑。

正如fadden指出的那样，从最基本的开始使用Android graphics tutorials