适用于 android 和 ios 的 twilio webrtc mediastream contentHint

Question

我想优先考虑帧细节而不是帧速率。 视频媒体流中有一个名为 contentHint 的参数，但可能无法通过 twilio sdk 设置

https://www.w3.org/TR/mst-content-hint/

细节

应将轨道视为视频细节尤为重要。 这通常适用于带有文本内容的演示文稿或网页， 绘画或线条艺术。 此设置通常会针对生成的单个帧中的细节进行优化 而不是流畅的播放。量化或缩小造成的伪影 应避免使小文本或线条艺术难以理解。

https://github.com/twilio/twilio-video-ios/issues/59

在这个 github issue 中，我发现 isScreencast 适合它。 但是网络带宽配置文件应该是实现它的官方方法。

但据我尝试，网络带宽配置文件无法实现“帧详细信息超过帧速率”。最好的方法是什么？

Answer 1

这里是 Twilio 开发者宣传员。

contentHint 属性设置在 MediaStreamTrack 上，因此您可以在 Twilio Video 应用程序中设置它。例如：

const stream = await navigator.mediaDevices.getUserMedia({ video: true, audio: true });
const videoTrack = stream.getVideoTracks()[0];
const audioTrack = stream.getAudioTracks()[0];

videoTrack.contentHint = "detail";

const room = await Twilio.Video.connect(token, { tracks: [videoTrack, audioTrack] });

如果您在视频轨道上设置contentHint，然后将轨道直接传递给connect 方法，它们将被使用。

如果您想直接通过 Twilio Video SDK 进行设置，我推荐raising a ticket in the Video.js repo。