解析 VP8/OPUS 帧

Question

我正在使用 C 语言在 Linux 环境中开发一个 webrtc 模拟器。在这里，我需要将媒体从一个 webrtc 模拟器发送到另一个 webrtc 模拟器。我需要使用 VP8 和 Opus 编解码器。现在我开始使用 VP8 编解码器。由于我是VP8的新手，请帮助我了解更多。

1. 由于是模拟器，我不想实时捕获/播放媒体。我需要从文件中读取音频/视频数据并将其发送到远程。在远程获取提取的媒体数据，将其保存到文件中。

2. 哪种文件格式包含编码的 VP8 数据？是webm文件格式还是别的什么？

3. 假设 webm 文件包含 VP8 和 OPUS 编解码器数据（我不确定），我如何逐帧解析。例如，如果我阅读Extract audio frames from AMR-NB file，我可以从文件中解析 amr 帧。同样是否有任何帮助页面，我在其中学习 VP 框架的解析逻辑。

4. 或者是否有任何开源使用，我可以从 webm 文件中解析 VP8/OPUS 帧。

Answer 1

第二季度： 我先从第2题开始，VP8对应WebM格式。

第三季度： 如果要逐帧解析，需要知道VP8和OPUS的结构。 我不知道模拟在您的场景中意味着什么，但在 WebRTC 环境中，媒体数据是通过 RTP 传输的。如果你是在没有RTP的情况下进行模拟，请从第2步开始，否则从第1步开始。

1. 从 RTP 数据包中解包 RTP 有效负载。 RTP 负载包含 VP8 数据包信息，如序列号、时间戳等。
2. 注意，VP8 帧可能由多个 VP8 数据包组成，所以基本上你需要提取帧内容并将其连接在一起。有多种方法可以确定帧是否由多个数据包组成，并非所有数据包都完全标准化，但现在我建议您使用序列号，因为一帧的数据包共享相同的 SEQ。
3. 将帧写入文件。如果要创建有效的 WebM 文件，请使用 LibAV（我个人使用）中的 av_write_frame() 等函数。

我可以向您推荐一段将原始 RTP VP8 数据包实际转换为 VP8 帧的代码：https://github.com/meetecho/janus-gateway/blob/master/postprocessing/pp-webm.c。 包头读取用于函数（预处理和处理）。

第四季度： 我将 LibAV 用于此类目的（或者 FFMPEG）。

我很乐意回答任何其他问题。