【问题标题】:Streaming large, looping audio files with Web Audio API使用 Web Audio API 流式传输大型循环音频文件
【发布时间】:2021-03-18 00:46:24
【问题描述】:

我正在使用纯 Javascript 制作 an online game,但我遇到了音频问题。到目前为止,我一直在使用 XMLHttpRequest 和 Web Audio API 来加载音频文件,当它们完全加载时使用 decodeAudioData 将它们解码到缓冲区中,并存储缓冲区以供以后使用。 (玩家可以为他们的世界上传音乐文件,因此不能在游戏开始时加载所有内容)。 This solution is outlined in this topic.

这适用于短声音文件,但对于大型音乐文件,在实际播放音乐之前存在不可接受的加载时间。我需要一个允许流式传输的解决方案。

我四处搜索,但通常我看到的是人们说要使用音频元素和网络音频的 CreateMediaNode。但这并不是最优的,因为 Audio 元素不精确并且在循环时有一个难看的间隙。

我可以找到大量使用 createMediaStreamSource 从麦克风捕获音频数据的示例,但除了播放常规 HTML 媒体节点并将其用作输入之外,没有一个示例在服务器上流式传输数据文件 - 这是没有帮助,因为关键是要快速开始播放音乐。

我已经能够通过侦听来自 XMLHttpRequest 的 readystatechange 事件来检索音频文件数据,但我不知道如何将新数据插入缓冲区,或将数据流式传输到 Web 音频输出。我可以忍受偶尔的波涛汹涌,但我不想要任何会成为一贯问题的问题。

                    this.returnobj = new BSoundSource({src:media_url});
                    this.request = createCORSRequest('GET',media_url);
                    var request = this.request;
                    request.seenBytes = 0;
                    
                    this.bindListener(loader,this.request,'readystatechange',function(){
                        var readyState = request.readyState;
                        if (readyState == 3){ //Loading
                            if (!_this.ok){
                                var newData = request.response.substr(request.seenBytes);
                                console.log("newData: <<" +newData+ ">>");
                                request.seenBytes = request.responseText.length;
                                console.log("seenBytes: " +request.seenBytes);
                                
                                _this.returnobj.updateAudioData(request); //I don't know what to do here
                            }
                        }
                    });
                    this.bindListener(loader,this.request,'load',function(e){
                        var request = e.target;
                        _this.returnobj.onAudioDataLoaded(request.response); //Uses decodeAudioData, this works fine
                        _this.done = true;
                        _this.ok = true;
                        _this.onResourceLoaded(false);
                    });

【问题讨论】:

  • 音频元素就是你想要的。您可以通过持续流式传输数据来解决 MediaSource Extensions 的循环问题。此外,请考虑使用 Service Worker 进行缓存,因为您将重复使用该音频源数据。
  • @Brad 你有这方面的例子吗?

标签: audio-streaming web-audio-api


【解决方案1】:

我已经对此进行了很多实验,并且带有 Opus 示例的 WebAudio API 延迟非常低。这是一个 POC,但您可以类似地实现它并且它是跨浏览器的。请注意关于需要限制解码的 GitHub 问题:

https://fetch-stream-audio.anthum.com/  cross-browser

AudioWorklets 是另一个玩的例子(一旦 API 成熟,仍然存在一些错误,但 Firefox 运行良好)

https://opus-bitrates.anthum.com/           not yet cross-browser

【讨论】:

  • 可以工作,但不理想,因为它不能处理 MP3。即便如此,您能否举个例子说明如何使用它?
  • 您选择使用 MP3 而非 Opus 的任何具体原因?
  • 用户将上传自己的音乐文件,因此提供尽可能多的选项非常重要。
  • github.com/GersonRosales/… 是 mp3/流编码。如果 opus 录制/编码流有助于解决并且您需要为 mp3 添加流实现,我会链接它。
猜你喜欢
  • 2015-11-09
  • 1970-01-01
  • 2011-04-18
  • 2018-09-04
  • 1970-01-01
  • 2017-05-26
  • 1970-01-01
  • 1970-01-01
  • 2021-04-05
相关资源
最近更新 更多