iPhone 上的 HTTP 实时流媒体服务器

Question

我正在尝试在 iPhone 上运行 HTTP 实时流媒体服务器，它从摄像头捕获视频流并将其提供给 HTML5 客户端（支持 HTTP 实时流媒体）。

到目前为止，我已经完成了以下工作。

1. iOS 上的 HTTP 直播流服务器（用 Node.js 编写），动态 从视频捕获模块生成的传输流（视频/MP2T）文件列表中更新索引文件。
2. 视频采集模块，它使用AVCaptureMovieFileOutput产生一系列 连续播放 10 秒 QuickTime 文件（与 它们，但对于我的应用程序来说已经足够小了）。

我需要的是一个即时转换器，它将每个 QuickTime 文件转换为一个传输流文件（无需更改编码，我只需要一个不同的容器），它桥接了上面的两个模块。

我之所以采用这种方法，是因为据我所知，这是利用 iPhone 硬件视频编码器的唯一方法（我在这里对此主题进行了相当多的研究，我有 99% 的把握。如果我错了，请告诉我）。

一些人建议使用 ffmpeg，但我宁愿使用具有 MIT 许可证（如果有的话）的小得多的代码，或者从头开始编写一些东西（并使用 MIT 许可证将其开源）。

我对这个媒体容器很陌生，如果有人能指出我正确的方向（示例代码、开源、文档......），我将不胜感激。

Answer 1

我在苹果开发者论坛上发布了这个，我们进行了热烈的（请原谅双关语）讨论。这是对提出类似概念的人的回答。

如果我错了，我想纠正我，并举个例子，如果您不同意从 AVCaptureVideoDataOutput 获得的原始 h264 创建 mpeg ts 不是 除非您使用 x264 或类似的东西进行转码，否则任务很容易。让我们假设您可以轻松获取 mpeg ts 文件，然后在 m3u8 容器中编译它们，启动一个小型 Web 服务器并为它们提供服务将是一件简单的事情。 据我所知，有很多应用程序可以做到这一点，从设备使用 localhost 隧道不是拒绝问题。因此，也许您可​​以以某种方式从设备生成 hls，我质疑您将获得的性能。

继续技术 2 仍然使用 AvCaptureVideoDataOutput，您捕获帧，将它们包装在一些简洁的小协议、json 或者更深奥的东西中，例如 bencode 打开一个套接字并将它们发送到您的服务器。 啊……祝你好运，最好有一个强大的网络，因为即使通过 wifi 发送未压缩的帧也需要带宽。

继续到第 3 项技术。

您使用 avassetwriter 编写新电影并使用标准 c 函数从临时文件中读回，这很好，但是您拥有的是原始 h264，mp4 不完整，因此它没有任何 moov 原子，现在来了重新生成此标头的有趣部分。祝你好运。

接着说技术 4，它似乎确实有一些优点

我们创建的不是一个而是两个 avassetwriters，我们使用 gcd dispatch_queue 管理它们，因为在实例化 avassetwriters 后只能使用一次，我们在计时器上启动第一个，在预定时间段说 10 秒后我们开始第二个同时撕下第一个。现在我们有一系列具有完整 moov 原子的 .mov 文件，每个文件都包含压缩的 h264 视频。现在我们可以将这些发送到服务器并将它们组合成一个完整的视频流。或者，我们可以使用一个简单的流媒体，它获取 mov 文件并使用 librtmp 将它们包装在 rtmp 协议中，然后将它们发送到媒体服务器。

我们能否将每个单独的 mov 文件发送到另一台苹果设备，从而实现设备与设备之间的通信，这个问题已经被误解了很多次，通过 wifi 在同一子网中定位另一台 iPhone 设备非常容易并且可以做到。通过蜂窝连接在 tcp 上定位另一个设备几乎是神奇的，如果它可以在使用可寻址 ip 的蜂窝网络上完成，而不是所有常见的运营商都可以做到。

假设你可以，那么你还有一个额外的问题，因为没有一个 avfoundation 视频播放器能够处理那么多不同的单独电影文件之间的转换。您可能必须基于 ffmpeg 解码编写自己的流媒体播放器。 （这确实很好用）