【发布时间】:2023-01-28 03:14:58
【问题描述】:
我正在寻找一种方法来实现从 iOS 设备到浏览器的实时视频流(以及可选的音频)。在这种情况下,iOS 设备是服务器,浏览器是客户端。
视频分辨率必须在 800x600-1920x1080 范围内。可能最重要的标准是滞后应小于 500 毫秒。
到目前为止,我已经尝试了几种方法。
1. HLS
服务器:Objective-C、AVFoundation、UIKit、自定义 HTTP 服务器实现
客户: JS, VIDEO 标签
效果很好。流流畅。浏览器中的 VIDEO 标签处理开箱即用的传入视频流。这很棒!然而,它有难以最小化的滞后。感觉这个协议是为非交互式视频流而构建的。像抽搐这样的东西,几秒钟的延迟就可以了。 试过Enabling Low-Latency。很多要求。播放列表有很多麻烦。让我知道这是否是正确的选择,我必须朝着这个方向更加努力。
2. 将每一帧压缩成 JPEG 并通过 WebSockets 发送到浏览器
服务器:Objective-C、AVFoundation、UIKit、自定义 HTTP 服务器实现、WebSockets 服务器
客户: JS,通过IMG标签渲染
工作超快速和超流畅。延迟为 20-30 毫秒!但是,当我在浏览器中收到一个框架时,我必须通过 base64 编码的 URL 从 Blob 字段加载来加载它。一开始,所有这些都快速而流畅地运行,但过了一会儿,浏览器开始变慢和滞后。不知道为什么我还没有深入调查。另一个问题是压缩为 JPEG 的帧比 HLS 的 MP4 视频流大得多(每帧 60-120kb)。这意味着更多数据通过 WiFi 传输,其他 WiFi 消费者开始挣扎。这种方法有效,但感觉并不是一个完美的解决方案。
感谢任何想法或提示(框架、协议、库、方法等)!
【问题讨论】:
标签: ios objective-c uikit video-streaming avfoundation