将 RTP 视频流（H264 编解码器）写入 mp4 文件

Question

我想将从 rtp（实时）流录制的 H264 视频存储到文件中。 我用一个简单的java程序试过这个，但是vlc播放器无法打开文件。

这是我的代码：

    try
    {
        socket = new DatagramSocket(port);
        fos = new FileOutputStream(filePath + outputFileName);

        do
        {
            DatagramPacket in = new DatagramPacket(inData, inData.length);
            socket.receive(in);

            byte[] bytes = in.getData();

            if (curPos < buffer.length)
            {
                for (int i = 0; i < bytes.length; i++)
                {
                    buffer[curPos] = bytes[i];
                    curPos++;

                    if (curPos >= buffer.length)
                    {
                        receivePackets = false;
                        break;
                    }
                }
            }
            else
            {
                receivePackets = false;
            }

            Thread.sleep(SOCKET_TIMEOUT);
        }
        while (receivePackets);

        fos.write(buffer, 0, buffer.length);            

        if (fos != null)
        {
            fos.close();
        }

        if (socket != null)
        {
            socket.close();
        }
    }
    catch (IOException e)
    {
        e.printStackTrace();
    }
    catch (InterruptedException e)
    {
        e.printStackTrace();
    }

文件将被创建，但无法打开它。 是否有任何标题信息我必须剪切或添加到字节数组以获得正确的视频文件？

更新：

好的，问题似乎是h264 rtp数据包的nal header信息，因为我可以打开一个带有标准rtp header的录制h263视频（但是视频质量真的很差）。

Answer 1

Rtp 在其数据包中包含不属于 h264 流的标头，并且具有将一个最终单元（本质上是单个 h264“数据包”）拆分为多个数据包或将多个最终单元合并为一个数据包的机制，两者都添加了不能成为最终产品一部分的元数据。

此外，RTP 流可能不包含播放视频所需的一些元数据，尤其是在通过 rtsp 协商的情况下。如果是这种情况，您将不得不从 SDP 中的 sprop-parameter-sets 中提取一些 NAL 单元。

您可以在此处找到有关所有这些工作原理的文档：https://www.rfc-editor.org/rfc/rfc6184。真的没有听起来那么难。

当 h264 写入文件时，每个 nal 单元前面必须有三个 0 字节，然后是一个 1 字节。您可以在此处找到更多详细信息：https://www.itu.int/rec/T-REC-H.264-201906-I/en

必须说服 VLC 播放原始 h264 文件。你可以google一下，找到简单的步骤，它与代码无关，所以我不会在这里复制它们。

如果您希望文件为 mp4，您最好使用库来执行此操作。如果你想自己做这一切，天堂会帮助你，但你可以在这里找到规范：https://web.archive.org/web/20180921052457/http://l.web.umkc.edu:80/lizhu/teaching/2016sp.video-communication/ref/mp4.pdf。 https://github.com/sannies/mp4parser 库是 java 并且可以这样做，但是有一些问题。 Ffmpeg 是一个非常棒的程序，我很幸运地将它作为 Java 的子进程运行，并将其标准输入并从其标准输出中读取。

附带说明，ffprobe 是一个很棒的程序，在损坏的视频文件上运行它可以提供一些关于它有什么问题的见解。

Answer 2

您必须从 RTP 数据包中解压视频数据