控制 VirtualDisplay 的帧率答案

【问题标题】：Controlling Frame Rate of VirtualDisplay控制 VirtualDisplay 的帧率
【发布时间】：2015-10-10 04:53:11
【问题描述】：

我正在编写一个 Android 应用程序，在其中，我有一个 VirtualDisplay 来镜像屏幕上的内容，然后我将屏幕上的帧发送到 MediaCodec 的一个实例。它可以工作，但是，我想添加一种指定编码视频的 FPS 的方法，但我不确定该怎么做。

根据我的阅读和实验，丢弃编码帧（基于呈现时间）效果不佳，因为它最终会出现块状/伪影，而不是较低帧速率的流畅视频。其他阅读表明，做我想做的事情（限制 FPS）的唯一方法是将传入的 FPS 限制为MediaCodec，但VirtualDisplay 只收到一个Surface，它是从MediaCodec 构造的下面

mSurface = <instance of MediaCodec>.createInputSurface();
mVirtualDisplay = mMediaProjection.createVirtualDisplay(
    "MyDisplay",
    screenWidth,
    screenHeight,
    screenDensity,
    DisplayManager.VIRTUAL_DISPLAY_FLAG_AUTO_MIRROR,
    mSurface,
    null,
    null);

我还尝试对Surface 进行子类化，并限制通过unlockCanvasAndPost(Canvas canvas) 提供给MediaCodec 的帧，但该函数似乎从未在我的实例上调用过，因此，可能会有一些奇怪的方式我扩展了Surface 并与Parcel 的交互在我的实例上调用了writeToParcel 函数is，但这是在我的实例中调用的唯一函数（我可以说）。

其他阅读表明我可以从编码器 -> 解码器 -> 编码器开始并限制向第二个编码器馈送帧的速率，但如果可以避免的话，我宁愿不做很多额外的计算.

有没有人成功地限制了VirtualDisplay 向其Surface 提供信息的速率？任何帮助将不胜感激！

【问题讨论】：

标签： android android-mediacodec

【解决方案1】：

从你不能做的开始...

您不能从编码流中删除内容。编码流中的大多数帧本质上是与其他帧的“差异”。在不知道帧如何交互的情况下，您无法安全地删除内容，最终会出现损坏的宏块外观。

您无法为 MediaCodec 编码器指定帧速率。它可能会将其填充到某个地方的元数据中，但对编解码器真正重要的是您输入其中的帧，以及与每个帧相关联的演示时间戳。编码器不会丢帧。

你不能通过继承 Surface 来做任何有用的事情。 Canvas 操作仅用于软件渲染，与从相机或虚拟显示器输入帧无关。

您可以做的是将帧发送到中间 Surface，然后选择是否将它们转发到 MediaCodec 的输入 Surface。一种方法是创建一个 SurfaceTexture，从中构造一个 Surface，然后将其传递给虚拟显示器。当 SurfaceTexture 的可用帧回调触发时，您要么忽略它，要么使用 GLES 将纹理渲染到 MediaCodec 输入 Surface。

可以在Grafika 和bigflake 中找到各种示例，其中没有一个完全适合，但所有必要的 EGL 和 GLES 类都在那里。

【讨论】：

感谢您的意见！听起来不错（我为什么没想到呢？）。我是一名图形工程师，所以我应该非常熟悉 OpenGL 调用以构建纹理等。我会试一试并报告。
所以，我注意到 SurfaceTexture 通过在当前循环器或 UI 线程循环器上接收消息来处理其帧可用回调，或者没有。这……很有趣。希望有一种方法可以指定处理程序或循环器。由于我在 HandlerThread 中完成所有这些工作，因此需要一些工作。
发送消息即可。典型的onFrameAvailable() 实现如下所示：github.com/google/grafika/blob/master/src/com/android/grafika/…
我还应该提到我的应用程序在后台（我正在试验）。
如果我的应用程序在后台，我永远不会收到 onFrameAvailable 回调。我会继续四处寻找，看看我能弄清楚什么。

【解决方案2】：

您可以参考saki4510t's ScreenRecordingSample或RyanRQ's ScreenRecoder的代码示例，它们都在虚拟显示器和媒体编码器之间使用了额外的EGL纹理，第一个可以保持至少15 fps的输出视频。您可以从他们的代码库中搜索关键字 createVirtualDisplay 以获取更多详细信息。

【讨论】：