Live555 - 使用两个子会话的 TCP 视频和音频流

Question

我一直在尝试通过单个流实现实时 RTSP 视频和音频流。

我所做的与他们的示例非常相似（创建 ServerMediaSession 并向其中添加两个 SubSession，一个用于视频，一个用于音频），我所做的唯一更改是创建了一个名为的新字节流源TcpSource，和他们的 ByteStreamFileSource 非常相似，只是我在 doReadFromFile 方法中调用了 recv()，而不是“fread()”（当然，视频和音频有不同的套接字）。

结果是，如果我分别拥有每个子会话，它就可以正常工作。但是，当我尝试通过 TCP 流式传输视频和音频时，它会导致严重的数据包丢失，或者只有一个流正常工作而另一个流卡在中间（例如，视频冻结而音频保持正常播放）。

你能建议吗？它与发送\接收超时有关吗？ 提前致谢。

Answer 1

live555 事件循环是单线程的，对任何阻塞或繁重的处理都很敏感。

首先要检查的是您没有使用blocking I/O。如果你是，你正在干扰 live555 框架处理的所有事情，例如任何计时器、RTCP 报告、套接字读取和写入等。

第二件事是您需要检查您的doReadFromFile 是否被阻止。不推荐像sleep 这样的系统调用。而是使用 live555 任务调度机制。

我编写了类似的代码，即从 tcp 套接字读取音频/视频，解析数据包，然后通过 live555 重新广播媒体。我在一个单独的线程中处理我的所有网络 I/O，并通过共享队列机制将解析的媒体样本传递到 live555 线程。到目前为止效果很好，但是还有很多其他方法可以解决这个问题，例如只要您不干扰 live555 事件循环，像您正在做的那样使用live555 线程进行I/O 应该没问题。