【问题标题】:What options exist to stream video from iOS to browser?有哪些选项可以将视频从 iOS 流式传输到浏览器?
【发布时间】:2023-01-28 03:14:58
【问题描述】:

我正在寻找一种方法来实现从 iOS 设备到浏览器的实时视频流(以及可选的音频)。在这种情况下,iOS 设备是服务器,浏览器是客户端。

视频分辨率必须在 800x600-1920x1080 范围内。可能最重要的标准是滞后应小于 500 毫秒。

到目前为止,我已经尝试了几种方法。

1. HLS

服务器:Objective-C、AVFoundation、UIKit、自定义 HTTP 服务器实现

客户: JS, VIDEO 标签

效果很好。流流畅。浏览器中的 VIDEO 标签处理开箱即用的传入视频流。这很棒!然而,它有难以最小化的滞后。感觉这个协议是为非交互式视频流而构建的。像抽搐这样的东西,几秒钟的延迟就可以了。 试过Enabling Low-Latency。很多要求。播放列表有很多麻烦。让我知道这是否是正确的选择,我必须朝着这个方向更加努力。

2. 将每一帧压缩成 JPEG 并通过 WebSockets 发送到浏览器

服务器:Objective-C、AVFoundation、UIKit、自定义 HTTP 服务器实现、WebSockets 服务器

客户: JS,通过IMG标签渲染

工作超快速和超流畅。延迟为 20-30 毫秒!但是,当我在浏览器中收到一个框架时,我必须通过 base64 编码的 URL 从 Blob 字段加载来加载它。一开始,所有这些都快速而流畅地运行,但过了一会儿,浏览器开始变慢和滞后。不知道为什么我还没有深入调查。另一个问题是压缩为 JPEG 的帧比 HLS 的 MP4 视频流大得多(每帧 60-120kb)。这意味着更多数据通过 WiFi 传输,其他 WiFi 消费者开始挣扎。这种方法有效,但感觉并不是一个完美的解决方案。

感谢任何想法或提示(框架、协议、库、方法等)!

【问题讨论】:

    标签: ios objective-c uikit video-streaming avfoundation


    【解决方案1】:
    1. 高低层

      ......感觉这个协议是为非交互式视频流构建的......

      是的,没错。 HLS 的重点是利用通用 HTTP 服务器作为媒体流基础设施,而不是使用专有流媒体服务器。如您所见,需要做出一些权衡。最大的问题是媒体是分块的,这自然会导致延迟至少达到分块大小。实际上,它最终是几个块的大小。

      “低延迟”HLS 是一种回到我们在 HLS 之前使用的方法的 hack,服务器只从源流式传输内容,以与我们现在必须处理的所有 HLS 内容兼容的方式。

      1. 将每一帧压缩成 JPEG 并通过 WebSockets 发送到浏览器

      在这种情况下,您基本上重新创建了一个视频编解码器,并添加了 Web 套接字的开销。此外,使用 base64 编码而不是发送二进制文件,您会增加额外的 CPU 和内存要求,以及约 33% 的带宽开销。

      如果你真的想走这条路,你可以简单地使用 MediaRecorder,一个 HTTP PUT 请求,流式传输记录器的输出,将其发送到服务器,通过 HTTP 中继到客户端。然后客户端只需要一个引用服务器上某些 URL 的 <video> 标记,并且没有什么特别的播放。你会得到很好的低延迟,没有所有的开销和麻烦。

      然而,不要走那条路。假设带宽掉线了?如果某些数据包丢失并且您需要重新同步怎么办?您将如何在每一端之间建立通信以不断调整质量、缓冲、编解码器协商等?如果点对点连接是有利的怎么办?

      使用 WebRTC

      它是为保持低延迟而专门构建的完整堆栈。库可用于大多数平台上的大多数堆栈。它适用于浏览器。

      与其重新发明所有这些,不如利用其中的优势。

      缺点是复杂......开始并不容易,但非常值得最多低延迟用例。

    【讨论】:

      猜你喜欢
      • 2018-03-13
      • 1970-01-01
      • 2012-02-17
      • 2019-08-18
      • 2016-05-30
      • 2015-05-22
      • 2014-11-10
      • 2017-02-10
      • 2010-09-14
      相关资源
      最近更新 更多