发送与视频流同步的事件答案

【问题标题】：sending events synchronized with video stream发送与视频流同步的事件
【发布时间】：2011-07-12 09:58:25
【问题描述】：

我想获得一些与它同步的实时事件的视频流。例如，我希望有可能在屏幕上发生某些事情后解锁按钮 - 当相机前发生某些事情时，应该发送一些关于它的信息（即摄影师正在按下特殊按钮）。任务是让这些信息（或事件）与屏幕上的情况同步。是否可以使用 RTSP 发送和接收此类元数据？应用程序将使用 WPF 编写。

我需要获得与此非常相似的功能： http://www.adobe.com/devnet/flashmediaserver/articles/metadata_video_streaming.html 由 flash 提供，但在 .NET 平台上提供。你知道任何可以帮助我的图书馆吗？

http://www.streamingmedia.com/conferences/west2010/presentations/SMWest-2010-Microsoft-Workshop.pdf

【问题讨论】：

屏幕上发生了什么是什么意思？你想进行某种图像检测吗？
不，正如现在提到的问题

标签： wpf events video stream rtsp

【解决方案1】：

AFAIK，RTSP 不提供这样的可能性来发送额外的元数据。

也许您可以将一些元数据放入 RTP（视频）帧的扩展标头中。

另一种方法是启动并行元数据流（即 XML）。在客户端，您可以像音频/视频流一样同步两个流。

祝你好运。

【讨论】：

我正在考虑单独发送它，但我不知道如何将视频流（通过某些特殊协议发送）与正常序列化数据（可能通过 WCF 或 http 发送）同步。你没有任何线索吗？
哪些时间戳？这些被协议使用？
时间同步最好使用您放在两个流/元数据中的同步时间戳来完成。 RTP/RTCP 提供了与（视频）流一起传输绝对和相对时间码的可能性。

【解决方案2】：

我找到了 2 个提供所需功能的解决方案。第一个是 Microsoft 媒体服务器。它由 MIcrosoft 提供，因此在 WPF 中使用它非常容易。这里的问题是它不是实时协议。对我来说，延迟大约 10-20 秒（在本地主机上）是不可接受的。

第二个是使用 RTMP 的 Flash Media Streaming Server。它还提供所需的功能，更重要的是它的名字说它是实时协议。这里的滞后是不明显的（在 localhost 上通常远低于 1 秒）。但由于它是 Flash 技术，它必须由 Flash 代码处理。我通过将 Flash 组件放入 ActiveX 共振峰来解决它。对我来说，这是我的完美搭档；）

【讨论】：