Android：如何使用 MediaMuxer 与 video/mp4v-es 而不是 video/avc？

Question

我希望能够在某些设备上使用 mp4v-es 而不是 avc。编码器使用 avc 运行良好，但是当我用 mp4v-es 替换它时，muxer 报告：

E/MPEG4Writer(12517): Missing codec specific data

如MediaMuxer error "Failed to stop the muxer"，视频无法播放。不同之处在于我向复用器添加了正确的轨道/格式，而没有收到任何错误：

...else if (encoderStatus == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
           MediaFormat newFormat = encoder.getOutputFormat();
           mTrackIndex[encID] = mMuxer.addTrack(newFormat);

处理 mp4v-es 与处理 avc 有什么不同吗？一提，我只是跳过“bufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG”，因为它不需要avc。谢谢。

Answer 1

正如 Ganesh 指出的那样，不幸的是，如果不修改平台源代码，目前看来这是不可能的。

实际上有两种方法可以将编解码器特定的数据传递给内部 MPEG4Writer 类，但如果不进行修改，它们都不能真正工作。

正如 Ganesh 发现的那样，将 MediaFormat 键重新映射到内部格式的逻辑似乎缺少对除 H264 之外的任何其他视频编解码器的编解码器特定数据的处理。修复此问题的经过测试的修改如下：

diff --git a/media/libstagefright/Utils.cpp b/media/libstagefright/Utils.cpp
index 25afc5b..304fe59 100644
--- a/media/libstagefright/Utils.cpp
+++ b/media/libstagefright/Utils.cpp
@@ -549,14 +549,14 @@ void convertMessageToMetaData(const sp<AMessage> &msg, sp<MetaData> &meta) {
     // reassemble the csd data into its original form
     sp<ABuffer> csd0;
     if (msg->findBuffer("csd-0", &csd0)) {
-        if (mime.startsWith("video/")) { // do we need to be stricter than this?
+        if (mime == MEDIA_MIMETYPE_VIDEO_AVC) {
             sp<ABuffer> csd1;
             if (msg->findBuffer("csd-1", &csd1)) {
                 char avcc[1024]; // that oughta be enough, right?
                 size_t outsize = reassembleAVCC(csd0, csd1, avcc);
                 meta->setData(kKeyAVCC, kKeyAVCC, avcc, outsize);
             }
-        } else if (mime.startsWith("audio/")) {
+        } else if (mime == MEDIA_MIMETYPE_AUDIO_AAC || mime == MEDIA_MIMETYPE_VIDEO_MPEG4) {
             int csd0size = csd0->size();
             char esds[csd0size + 31];
             reassembleESDS(csd0, esds);

其次，原则上您可以将相同的缓冲区（设置了MediaCodec.BUFFER_FLAG_CODEC_CONFIG 标志）传递给MediaMuxer.writeSampleData，而不是将编解码器特定数据作为csd-0 传递给MediaFormat。此方法目前不起作用，因为此方法根本不检查编解码器配置标志 - 它可以通过此修改来修复：

diff --git a/media/libstagefright/MediaMuxer.cpp b/media/libstagefright/MediaMuxer.cpp
index c7c6f34..d612e01 100644
--- a/media/libstagefright/MediaMuxer.cpp
+++ b/media/libstagefright/MediaMuxer.cpp
@@ -193,6 +193,9 @@ status_t MediaMuxer::writeSampleData(const sp<ABuffer> &buffer, size_t trackInde
     if (flags & MediaCodec::BUFFER_FLAG_SYNCFRAME) {
         sampleMetaData->setInt32(kKeyIsSyncFrame, true);
     }
+    if (flags & MediaCodec::BUFFER_FLAG_CODECCONFIG) {
+        sampleMetaData->setInt32(kKeyIsCodecConfig, true);
+    }

     sp<MediaAdapter> currentTrack = mTrackList[trackIndex];
     // This pushBuffer will wait until the mediaBuffer is consumed.

据我所知，在不修改平台源的情况下，目前无法在使用公共 API 的情况下使用 MediaMuxer 对 MPEG4 视频进行多路复用。鉴于上述 Utils.cpp 中的问题，您不能对任何需要编解码器特定数据的视频格式进行多路复用，H264 除外。如果 VP8 是一个选项，您可以将其复用到 webm 文件中（连同 vorbis 音频），但 VP8 的硬件编码器可能比 MPEG4 的硬件编码器少得多。

Answer 2

我认为您有能力修改 Stagefright 源，因此，我为您的问题提出了解决方案，但需要自定义。

背景：

当encoder 完成编码时，第一个缓冲区将包含csd 信息，该信息通常带有OMX_BUFFERFLAG_CODECCONFIG 标志。当这样一个缓冲区返回到MediaCodec时，它应该在MediaCodec::amendOutputFormatWithCodecSpecificData中存储与csd-0相同的内容。

现在，当将此缓冲区提供给MediaMuxer 时，同样会作为addTrack 的一部分进行处理，其中会调用convertMessageToMetadata。如果您参考相同的实现，我们可以观察到只有AVC 被处理为video 并且默认为audio 用于ESDS 创建。

编辑：

在这里，我的建议是修改此line 并尝试您的实验

} 
if (mime.startsWith("audio/") || (!strcmp(mime, MEDIA_MIMETYPE_VIDEO_MPEG4)) {

有了这个改变，我觉得它也应该适用于MPEG4 视频轨道。更改是将else if 转换为if，因为之前对video 的检查也会尝试处理数据，但仅限于AVC。