在 Android 中，如何将预定义的 Surface 传递给 MediaCodec 进行编码？

Question

我有一个管理自己的 GLSurfaceView 的应用，现在我想使用 Android 4.3 的新 MediaCodec 功能，该功能将 Surface 作为输入。

在我见过的所有示例中，Surface 都是使用 MediaCodec.createInputSurface() 创建的，然后为此 Surface 创建 GL 上下文。将其改造成已经稳定的代码库，这感觉很单一，而且具有令人难以置信的破坏性。

可以用吗 MediaCodec.configure（格式， a_predefined_Surface, 空值， MediaCodec.CONFIGURE_FLAG_ENCODE) 反而？这允许我以即插即用和按需的方式使用 MediaCodec。 MediaCodec.configure() 采用 Surface 参数的事实表明这应该是可能的。但是，API 指出 '指定要在其上呈现此解码器输出的表面' http://developer.android.com/reference/android/media/MediaCodec.html#configure(android.media.MediaFormat, android.view.Surface, android.media.MediaCrypto, int) 这是否意味着这仅适用于 decode 而不是 encode？如果是这样，有什么方法可以让 MediaCodec 使用预定义的 Surface 进行编码？

我传入的 Surface 已经创建，并且 EGL_RECORDABLE_ANDROID 设置为 true，并且返回的 GL 上下文经过验证包含所需的 EGL_RECORDABLE_ANDROID 属性。尽管如此，MediaCodec.configure() 还是失败并出现无用异常“native_window_api_connect 返回错误：无效参数 (-22)”：

I/ACodec(32383):  Now uninitialized
I/OMXClient(32383): Using client-side OMX mux.
I/ACodec(32383): [OMX.qcom.video.encoder.avc] Now Loaded
E/MediaCodec(32383): native_window_api_connect returned an error: Invalid argument (-22)
W/System.err(32383): java.lang.IllegalStateException
W/System.err(32383):    at android.media.MediaCodec.native_configure(Native Method)
W/System.err(32383):    at android.media.MediaCodec.configure(MediaCodec.java:259)
[...]
W/System.err(32383):    at android.opengl.GLSurfaceView$GLThread.guardedRun(GLSurfaceView.java:1520)
W/System.err(32383):    at android.opengl.GLSurfaceView$GLThread.run(GLSurfaceView.java:1248)

这是来自搭载 Android 4.3 的三星 Galaxy S4。

Answer 1

不，它不会那样工作。输入表面必须使用createInputSurface() 创建。

请记住，“表面”不是数据缓冲区，它是一个缓冲区队列，生产者和消费者端点通常位于不同的进程中。有很多移动部件需要设置。另请注意，Surface 和 EGLSurface 是两个不同的东西，虽然经常一起使用，但并不密切相关。

API 看起来很笨拙而且很奇怪，因为……确实如此。 Surface 的实现多年来发生了相当大的变化——过去的基础远不那么通用，因此大多数用于更改端点的 API 都没有公开。 （未指定）MediaCodec API 仍在不断发展。

在Grafika 中有一个向GLSurfaceView 和MediaCodec 呈现相同内容（相机预览）的示例。听起来你正在尝试做类似的事情。 （如果没有，请更新您的问题，我会更新答案。）

Answer 2

似乎在 API 23+ 中有一个名为 setInputSurface(Surface) 的 API：