【问题标题】:How to handle jitter buffer in pjsip/pjmedia framework?如何在 pjsip/pjmedia 框架中处理抖动缓冲区?
【发布时间】:2015-12-21 04:24:15
【问题描述】:

我必须处理传入和传出流的 rtp 媒体。传入流来自不同的软电话,传出流来自不同的电话。所以它是一个媒体中继。对于这两个流,我需要将它们放在抖动缓冲区中,然后以恒定比特率播放它们。 这个框架让我有点困惑。我在 on_rx_rtp 处理程序中添加代码。我首先将有效负载分解为帧并将每个帧放入 jitterbuffer 中。 现在我何时何地获得框架? 在不同的线程中?或者缓冲区满到 70% 之后的事件或者在同一个线程中? 即使我这样做了,我如何将这些帧组合成一个有效负载,然后将它们发送出去?我必须使用 transport_send_rtp 发送数据包而不是内在的 pjmedia 流或端口框架? 任何帮助将不胜感激。

【问题讨论】:

    标签: multithreading sip rtp pjsip


    【解决方案1】:

    对于媒体中继,您可能根本不需要抖动缓冲区。从发送者(A)收到数据包后,立即将数据包发送给接收者(B)。您可以假设 A 以正确的速率发送数据包,而 B 有自己的抖动缓冲区,并且立即转发数据包不会增加任何明显的延迟(这也是任何缓冲的缺点)。

    如果您需要转码或能够修改传递的音频等功能,您可能需要抖动缓冲区,但我宁愿使用 pjmedia 流和会议桥而不是手动处理每个数据包。

    【讨论】:

    • 如果我从发件人 A 收到乱序的数据包并需要重新排序怎么办?我在想,一旦我收到来自发件人 A 的数据包,我会缓冲它,然后当我感到困惑以及何时获取它时。所以我想当我将缓冲区填满 70% 时,我会调用 get_frame,但后来我不知道如何将帧组合成有效负载并发送它,因为有一个 pjemdia_port_put_frame 可以使用,但因为我没有使用pjmedia 流框架我不能使用那个 API。 :(
    • 另外,我将接收来自发送者 B 的数据包,发送者 B 是 A 的接收者,A 是发送者 B 的接收者。所以它是一种带有中继代理的 RTP 转发。我不认为我可以使用流框架,因为它在转发方面是刚性的。它有自己的 on_rx_rtp 处理程序,但我需要修改这个处理程序才能中继数据包
    • 我应该使用 pjmedia_port_create 创建一个手动端口来放帧吗?
    • 为什么需要重新测序? B应该可以自己做。此外,对于普通媒体中继 pjlib(例如 activesock)可能就足够了 - 如果数据包是 RTP(它可能是 UDP keepalive),您甚至可能不需要信息,只需要将数据包转发到的源地址和地址。
    • 非常感谢您的回复!即使我正在更改 RTP 标头(替换 SSRC)然后使用 encode_rtp 创建一个新标头并发送它,它是否根本不需要重新排序?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2014-08-29
    • 2018-08-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多