使用 MediaMuxer 混合相机预览 h264 编码的基本流

Question

我正在使用 Android 4.3 的新 MediaCodec 和 MediaMuxer API 实现有关 previewTexture 录制的Android Test Cases 之一。

通过将 recordingHint 设置为相机参数，我设法以大约 30fps 的帧速率记录预览流。

但是，我遇到了延迟/滞后问题，不知道如何解决。当使用相当标准的质量设置（1280x720，比特率约为 8.000.000）录制相机预览时，预览和编码材料偶尔会出现延迟。更具体地说：这种延迟大约每 2-3 秒发生一次，大约需要 300-600 毫秒。

通过跟踪延迟，我发现延迟来自“drainEncoder”方法中的以下代码行：

mMuxer.writeSampleData(mTrackIndex, encodedData, mBufferInfo);

如果编码器有可用于复用的数据，则循环调用此行。目前我不录制音频，所以只有 h264 流由 MediaMuxer 转换为 mp4 格式。

我不知道这是否与延迟有关，但它总是在循环需要两次迭代以使编码器的所有可用数据出列时发生（更具体地说，它总是发生在其中的第一个两次迭代）。在大多数情况下，一次迭代就足以使编码器出队。

由于没有太多关于这些新 API 的在线信息，非常感谢任何帮助！

Answer 1

我怀疑您被MediaMuxer 磁盘写入所困扰。最好的确定方法是在录制期间运行 systrace 并查看暂停期间实际发生的情况。 （systrace docs、explanation、bigflake example -- 目前只有后者针对 Android 4.3 进行了更新）

如果是这种情况，您可以通过在单独的线程上运行 MediaMuxer 实例并通过同步队列将 H.264 数据提供给它来缓解问题。

这些暂停是否定期发生，每 5 秒一次？ CameraToMpegTest 示例将编码器配置为每 5 秒输出一个 I 帧（预期帧速率为 30fps），这导致输出全尺寸帧而不是微小的增量。

Answer 2

正如@fadden 所指出的，这是一个磁盘写入问题，主要发生在写入闪存速度较低的设备上，或者您尝试写入 SD 卡时。

我在类似的问题here 中写了一个关于如何缓冲 MediaMuxer 写入的解决方案。