如何为 H265/HEVC 解包 RTP 数据（通过 UDP）中的碎片帧？

Question

我正在尝试对原始 RTP H265 流进行解包并对其进行重构，以便解码器可以读取它。 通过识别 NAL 和 FU 详细信息，我已经能够从 RTP 缓冲区中提取单个和碎片单元。但是，我找不到关于处理 NAL 的确切细节，这些 NAL 被放在碎片单元的缓冲区前面。

这是我的工作：

1. 当payload header类型为49时，我知道它是一个分片单元。

2. 然后我寻找第三个字节，其尾随 6 个字节为您提供 FU 类型/NAL 类型，前两位告诉您它是帧的开始切片还是结束切片。 这是我用于重建 NAL 的代码：

if(type == 49){

    unsigned char fu_header = (unsigned char) *(rtpPayloadPos+2);
    unsigned char fu_head_se = (fu_header & 0xC0) >> 6;
    nal_type = fu_header & 0x3F;
 
    switch(fu_head_se){

    case 0x02:         //nal start
    {
        payloadType = RTP_PAYLOAD_FU_START_H265_NAL;
        *h265DataPos = rtpPlayloadPos-3;
        *(*h265DataPos) = 0x00;
        *((*h265DataPos)+1) = 0x00;
        *((*h265DataPos)+2) = 0x00;
        *((*h265DataPos)+3) = 0x01;
        *((*h265DataPos)+4) = (fu_header << 1);
        *((*h265DataPos)+5) = 0x01;
        h265Len = len - headLen + 3; 
    }
    break;

    case 0x00:     //nal middle
    {
        *h265DataPos = rtpPlayloadPos+2;
        h265Len = len - headLen - 2;
        payloadType = RTP_PAYLOAD_FU_MIDDLE_H265_NAL;
    }
    break;
 
    case 0x01:     //nal end
    {
        *h265DataPos = rtpPlayloadPos+2;
        h265Len = len - headLen - 2;
        payloadType = RTP_PAYLOAD_FU_END_H265_NAL;
    }
    break;
        
    default:
        printf("Unknown fu head\n");
        return -1;

}

但是，我不确定我重建 NAL 的方式是否正确。由于解码器抱怨很多，视频几乎是绿色和紧张的。 谁能告诉我如何正确重建 FU 帧？

我一直在参考 ITU H265 文档和此链接： https://datatracker.ietf.org/doc/html/draft-ietf-payload-rtp-h265-15.

Answer 1

RFC 规范 rfc 7798 包含所有详细信息。

简单的步骤：

1. 去掉12字节的RTP头和3字节的FU头。
2. 组合所有 FU 数据包，直到找到/接收到来自视频编码帧的结束数据包。
3. 将所有数据包（如果多个数据包形成一个帧）组合成视频帧，可以将其馈送到解码器。