使用 webrtc 和文本轨道传递与视频帧同步的实时元数据

Question

我正在使用 WebRTC（win c++ 原生客户端）向同行（托管在 Chrome 中）广播实时视频。
目标： 沿每个视频帧发送元数据（元数据在帧级别）。

1. 是否可以在文本轨道中发送元数据以供对等端的 javascript 使用？
   
2. 如果没有，是否有其他方法可以将 WebRTC 实时视频与元数据同步？
   例如，使用 WebRTC DataChannel / WebSockets？

Answer 1

我猜你需要这个功能

https://webrtc.googlesource.com/src/+/77c8e65b88c9d2d95442b66ada504e0f1c553d66

更新多路编码器以支持将增强数据附加到视频

Answer 2

没有。

目前，WebRTC 实施（或规范）没有同步功能，也没有逐帧同步数据与视频的能力。这是未来 WebRTC 规范正在研究的内容。

有些供应商在他们的 SDK 中提供了这种功能，但这仅限于他们的原生 SDK，并且在他们基于浏览器的 JS SDK 中不起作用。