如何使用 FFMPEG 将 H264 正确包装到 FLV 中？答案

【问题标题】：How to properly wrap H264 into FLV with FFMPEG?如何使用 FFMPEG 将 H264 正确包装到 FLV 中？
【发布时间】：2017-08-03 12:45:11
【问题描述】：

首先，标题中的“正确”是指this related question，其中的答案并没有解决我的问题。

tl;dr：对视频进行编码和直接将其存储到 FLV 中并分两个单独的步骤执行此操作是有区别的。我需要单独做，如何得到和直接做一样的结果？

Nvidia 的硬件编码器 NVENC 在没有容器的情况下生成原始 H.264 数据，这在大多数视频播放器中很难播放。对于 Adobe AIR 应用程序，我需要将视频包装成 FLV 格式，我想为此使用 FFMPEG：

ffmpeg -f h264 -i "input.h264" -c copy -f flv "output.flv"

这没有按预期工作，因为以这种方式处理的每个视频的第一帧根本没有显示。每个视频仅从第二帧开始显示，这对于单帧视频来说是一种耻辱（仅使用 GPU 的硬件编码器进行闪电般快速的图像压缩）。

为了检查，我现在将输入视频重新编码两次：一次直接转为 FLV 输出

ffmpeg -f h264 -i "input.h264" -c:v h264_nvenc -f flv "A.flv"

一次到 H.264，然后将其推入 FLV。

ffmpeg -f h264 -i "input.h264" -c:v h264_nvenc -f h264 "reencode.h264"
ffmpeg -f h264 -i "reencode.h264" -c copy -f flv "B.flv"

第一个视频可以正常播放，第二个不能。直接方法生成的 FLV（A.flv，见下文）的文件结构略有不同，尤其是 NAL 单元不同，我怀疑这是导致不同行为的原因。

所以，我的问题是：如果我已经有一个 H.264 视频并且只希望将其复制到 FLV 容器中而不进行转码，但文件和帧头应该像实际转码时那样正确填写，我该如何告诉FFMPEG？有没有这样的命令，比如“-c copy butGenerateValidHeader”？

这里是文件的相关部分：

直接接近

ffmpeg -f h264 -i "input.h264" -c:v h264_nvenc -f flv "A.flv"

A.flv

46 4C 56 01 01 00 00 00 09 00 00 00 00 12 00 00 // FLV header + metadata
B8 00 00 00 00 00 00 00 02 00 0A 6F 6E 4D 65 74
61 44 61 74 61 08 00 00 00 08 00 08 64 75 72 61
74 69 6F 6E 00 3F A0 E5 60 41 89 37 4C 00 05 77
69 64 74 68 00 40 93 80 00 00 00 00 00 00 06 68
65 69 67 68 74 00 40 8E F0 00 00 00 00 00 00 0D
76 69 64 65 6F 64 61 74 61 72 61 74 65 00 40 9E
84 80 00 00 00 00 00 09 66 72 61 6D 65 72 61 74
65 00 40 3E 00 00 00 00 00 00 00 0C 76 69 64 65
6F 63 6F 64 65 63 69 64 00 40 1C 00 00 00 00 00
00 00 07 65 6E 63 6F 64 65 72 02 00 0D 4C 61 76
66 35 37 2E 37 31 2E 31 30 30 00 08 66 69 6C 65
73 69 7A 65 00 40 F9 5C B0 00 00 00 00 00 00 09

00 00 00 C3 09 00 00 2B 00 00 00 00 00 00 00 17 // AVC sequence start
00 00 00 00
            01 4D 40 20 FF E1 00 17             // ?
                                    67 4D 40 20 // Sequence parameter set
95 A0 13 81 F7 EB 01 10 00 00 3E 80 00 0E A6 08
F1 C3 2A
         01 00 04                               // ?
                  68 EE 3C 80                   // Picture parameter set
                              00 00 00 36 09 01 // AVC NALU
94 9A 00 00 00 00 00 00 00 17 01 00 00 00
                                          00 01 // ?
94 91
      65                                        // IDR frame
        [B8 04 1D FF ...]
00 01 94 A5 09 00 00 05 00 00 00 00 00 00 00    // ?
                                             17 // AVC sequence end
02 00 00 00 00 00 00 10

先编码

ffmpeg -f h264 -i "input.h264" -c:v h264_nvenc -f h264 "reencode.h264"

重新编码.h264

00 00 00 01 67 4D 40 20 95 A0 13 81 F7 EB 01 10 // Sequence parameter set
00 00 3E 80 00 0E A6 08 F1 C3 2A
                                 00 00 00 01 68 // Picture parameter set
EE 3C 80
         00 00 00 01 65                         // IDR frame
                       [B8 04 1D FF ...]        // Frame data

挤入容器

ffmpeg -f h264 -i "reencode.h264" -c copy -f flv "B.flv"

B.flv

46 4C 56 01 01 00 00 00 09 00 00 00 00 12 00 00 // FLV header + metadata
A4 00 00 00 00 00 00 00 02 00 0A 6F 6E 4D 65 74
61 44 61 74 61 08 00 00 00 07 00 08 64 75 72 61
74 69 6F 6E 00 3F A4 7A E1 47 AE 14 7B 00 05 77
69 64 74 68 00 40 93 80 00 00 00 00 00 00 06 68
65 69 67 68 74 00 40 8E F0 00 00 00 00 00 00 0D
76 69 64 65 6F 64 61 74 61 72 61 74 65 00 00 00
00 00 00 00 00 00 00 0C 76 69 64 65 6F 63 6F 64
65 63 69 64 00 40 1C 00 00 00 00 00 00 00 07 65
6E 63 6F 64 65 72 02 00 0D 4C 61 76 66 35 37 2E
37 31 2E 31 30 30 00 08 66 69 6C 65 73 69 7A 65
00 40 F9 5B 40 00 00 00 00 00 00 09
                                    00 00 00 AF // AVC sequence start
09 00 00 05 00 00 00 00 00 00 00 17 00 00 00 00

00 00 00 10 09 01 94 BD 00 00 00 00 00 00 00 17 // AVC NALU
01 00 00
         00 00 00 00 01 67 4D 40 20 95 A0 13 81 // Sequence parameter set
F7 EB 01 10 00 00 3E 80 00 0E A6 08 F1 C3 2A
                                             00 // Picture parameter set
00 00 01 68 EE 3C 80
                     00 00 00 01 65             // IDR frame
                                   [B8 04 1D FF // Frame data
...]
00 01 94 C8 09 00 00 05 00 00 00 00 00 00 00    // ?
                                             17 // AVC sequence end
02 00 00 00 00 00 00 10

2017 年 8 月 8 日更新： 添加了用于检查的输入和输出文件

【问题讨论】：

您介意分享您的各种视频文件吗？
尝试ffmpeg -f h264 -i "reencode.h264" -c copy -bsf:v extract_extradata -f flv "B.flv"命令行，即使用extract_extradata比特流过滤器。
@Markus Schumann：我在问题末尾添加了文件。
@nobody555：感谢您的提示，但它不起作用。视频不仅在 Adobe AIR 中不显示，而且在 MPC-HC 中也不再显示。
首先，您对文件结构的描述与二进制 A.flv 和 B.flv 中的真实结构相矛盾（它们是向后的）。那么你真正想要的结果是 A.flv （起始码：00 00 00 01 67 .. 00 00 00 01 68 .. 00 00 00 01 65）或 B.flv （avcC：00 17 67 .. 00 04 68 。 . 00 01 94 91 65)? FLV 的标准格式类似于带有 avcC（无起始码）的 B.flv，默认生成为：ffmpeg -i "reencode.h264" -c copy "C.flv":C.flv。如果这对您有用，请尝试更新您的 ffmpeg。至于带有起始码的格式，我不知道如何生成它们。

标签： ffmpeg h.264 flv

【解决方案1】：

首先，您对文件结构的描述与二进制 A.flv 和 B.flv 中的真实结构相矛盾（它们是向后的）。那么你真正想要的结果是什么？喜欢 A.flv 的起始码：00 00 00 01 67 .. 00 00 00 01 68 .. 00 00 00 01 65 或喜欢 B.flv 的 avcC + 00 17 67 .. 00 04 68 .. 00 01 94 91 65？

FLV 的标准格式类似于带有 avcC（无起始码）的 B.flv，默认生成为：ffmpeg -i "reencode.h264" -c copy "C.flv"：这是生成的 C.flv。

如果这个文件对你有用，不如尝试更新你的 ffmpeg（我使用了来自 master 分支的自编译版本）。至于带有起始码的格式，我不知道如何生成它们。

【讨论】：

【解决方案2】：

(1)

“如果我已经有一个 H.264 视频并且只想将它复制到一个 FLV 容器没有被转码，但文件和帧头应该像实际转码时一样正确填写，我该如何告诉 FFMPEG？”

你想要 muxing ：试试下面的命令（直接将 H.264 数据复制到 FLV 容器中）。

ffmpeg -i input.h264 -c:v copy output.flv

(2)

以这种方式处理的每个视频的第一帧根本不会显示。每个视频仅从第二帧开始显示，这对于单帧视频...

您如何检查帧以知道它仅显示第 2 帧以后的帧？是通过 AS3 代码netStream.pause() 还是通过 VLC 等媒体播放器？

在 FLV 中，每个视频帧都进入一个 Video Tag。对于其他编解码器，我们可以说 将帧 #1 放入 videoTag #1 等。但对于 H.264，第一个标签始终保存 "AVC Decoder Configuration" 数据，因此像素输入视频帧#1 将存在于 FLV 的 videoTag #2。
还有你第一个显示的字节......在“AVC NALU”部分17 01让你知道这是一个关键帧（第一帧总是一个关键帧），MPEG解码器永远不会显示第二帧（通常是P帧）如果它没有在第一次解码关键帧（I 帧）。您的第 1 帧图像存在于某处...

我无法用某个时间码倒计时的 H.264 视频重现此问题。第一帧从00hh:00mm:00ss:00msec 开始，毫秒逐帧向上移动。使用点 (1) 中所示的命令后，如果我使用 appendBytes 仅向解码器提供单帧数据（byteArray 打包为 1 帧 FLV），我会在 VLC 和 MPC-HC 以及 AS3 中看到第一帧)。

【讨论】：

不幸的是，建议的重新混合不起作用。检查我更新的问题以获取结果视频（“copy.flv”）。在 MPC-HC 中播放时，它不会在 AIR 中显示（AS3，使用 netStream.appendBytes）。