【问题标题】:MediaRecorder recording remote stream using VP9 codec doesn't workMediaRecorder 使用 VP9 编解码器录制远程流不起作用
【发布时间】:2022-09-28 14:26:24
【问题描述】:

我尝试使用 MediaRecorder 使用编解码器 VP9 录制远程视频流,但我只能获得无法播放的视频。

环境:最新的 Chrome (105.0.5195.127)。

流很常见。

stream = await navigator.mediaDevices.getDisplayMedia({
      video: {
        width: { ideal: 9999 },
        height: { ideal: 9999 }
      },
      audio: false
    });

对于自动录制,我使用setTimeout 来停止 MediaRecorder。 downloadBlob 使用<a> 将blob 下载为.webm 文件,我认为这不是问题所在。

export function record(stream, duration) {
  const recorder = new MediaRecorder(stream, {
    mimeType: \'video/webm;codecs=vp9\'
  });

  const chunks = [];
  recorder.ondataavailable = e => {
    if (e.data.size > 0) {
      chunks.push(e.data);
    }
  };
  recorder.onstop = () => {
    downloadBlob(
      new Blob(chunks, {
        type: chunks[0].type
      }),
      `filename.webm`
    );
  };

  recorder.start();

  setTimeout(() => {
    recorder.stop();
  }, duration);
}

我在pc.addTrack和transceiver.setCodecPreferences之后触发record(localStream)(如果需要,我也可以提供这些代码),并且可以正确录制localStream,这意味着我可以在PotPlayer中播放,编解码器显示VP90。

但是,当我在pc.ontrack 中触发record(remoteStream) 时,我无法播放下载的视频。顺便说一句,视频可以通过<video>正确显示。

我注意到当我在MediaRecorder.ondataavailable中使用console.log(e.data.size)时,录制本地流显示12255987(很大),录制远程流只显示3501。我认为这是真正的问题,但我无法解决。


顺便说一句,我曾经遇到过一个关于addIceCandidate的问题。接收者 pc 将在设置远程 desc 之前收到候选消息,因此我在发送者端创建一个队列,以确保双方在交换 ICE 候选之前设置远程和本地 desc。我不知道这是否是一个愚蠢的操作。

const candidateQueue = [];
this.pc.onicecandidate = e => {
  if (e.candidate) {
    candidateQueue.push(e.candidate);
    if (this.pc.currentRemoteDescription) {
      candidateQueue.forEach(c =>
        this.server.send(\'candidate\', JSON.stringify(c))
      );
      candidateQueue.length = 0;
    }
  }
};

新进展!如果我删除transceiver.setCodecPreferences,录像机可以正确录制VP9编解码器视频。但是,在我看来,VP9 编解码器只是在录制时进行,RTCPeerConnection 仍然使用 VP8 来传输视频信息。因此,我无法实现在通过不同编解码器传输时测量视频质量的目标。

    标签: webrtc mediarecorder vp9


    【解决方案1】:

    新进展!问题解决了。 如果您不将 mimeType 传递给 MediaRecorder 并且不将 type 传递给 Blob,则可以正确录制视频,并且编解码器显示 VP9。 我想知道是否有人可以告诉我为什么。我也将尝试阅读源代码并稍后分享我的意见。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-06-17
      • 2016-01-07
      • 2013-04-08
      • 1970-01-01
      • 1970-01-01
      • 2018-11-08
      • 2014-08-01
      • 2017-05-13
      相关资源
      最近更新 更多