一起编码视频和音频比分别编码要慢得多

Question

使用 Media Foundation 单独编码音频和视频，然后使用 ffmpeg 进行多路复用，比同时编码音频和视频，在 Media Foundation 中多路复用要快得多。我很想知道为什么？

我正在编码 aac 音频和 h264 视频；输入到编码器的视频以可变帧速率（非常低）。如果视频输入处于恒定帧速率（与输出的帧速率相同），我得到的速度可能是我所期望的。

值得注意的是，如果我先写入所有音频（视频）流，然后再写入视频（音频）流，则所有时间编码都用于写入第一个流，而第二个流几乎立即写入。

谁能告诉我这是怎么回事？

Answer 1

多路复用器可能会限制输入的视频段，因为生成的文件至少在默认设置下具有将与关闭时间点相关的视频和音频数据打包在一起的布局。

By default, the sink writer's IMFSinkWriter::WriteSample method limits the data rate by blocking the calling thread. This prevents the application from delivering samples too quickly. To disable this behavior, set the MF_SINK_WRITER_DISABLE_THROTTLING attribute to TRUE when you create the sink writer.