WebRTC - 如何同步媒体流

Question

我正在以一种非常规的方式使用 WebRTC。

我有多个“广播”对等点生成的多个流被发送到多个“接收”对等点的集合。

我打算使用 SFU 媒体服务器（可能是 Jitsi 或 Kurento）

这些流以同步的方式呈现在接收端是非常重要的。

我可以使用哪些方法进行同步？通常这不是 WebRTC 的问题，因为对等点之间通常没有一致的时钟，但在我的情况下，所有流源都有一个公共时钟。

我能想到的唯一方法是：

1. 不用担心，希望 WebRTC 的低延迟能让一切同步。

2. 以某种方式在 WebRTC 流帧中编码时间戳元数据，并以某种方式与浏览器中的 javascript 同步显示。

3. 使用像 GStreamer 这样可以执行视频同步的工具，将流混合成一个流并将其转发到媒体服务器（进而转发到接收客户端）。不过，我不知道如何实际执行同步。

任何想法和建议将不胜感激。

Answer 1

唯一能够同步低延迟流的 OTT 系统（在撰写本文时）是 Net Insight 制造的 SYE 系统。他们能够在低延迟模式下将任何设备同步到个位数毫秒。

他们不提供我所知道的任何开源，但您可以通过下载使用它的应用程序来查看它。 Primetime

游戏每天欧洲中部时间 20:00 开始，请在多部手机/平板电脑上下载以验证同步部分。

但是我发现还有其他可以同步播放的系统。

HibbTV

当我解释解决方案时，HibbTV 将重点关注更多 IPTV 替代解决方案。他们不适合瞄准互联网的狂野西部。可能是我说的不对，请指正。

W3C MULTI-DEVICE TIMING COMMUNITY GROUP

不久前与研究人员交谈过。他们可以同步播放，但他们的目标是协作观看。据我了解，低延迟部分不是范围的一部分。

那么当涉及到 WebRTC、LHLS、MPEG-DASH CMAF 和所有其他解决方案时，他们没有时间观念，因此无法使用 4G、WiFi 等各种接入技术在不同设备上渲染相同的视频帧或电缆，或者即使设备使用相同的技术，因为渲染是缓冲区控制的，而不是时间控制的。

/安德斯