使用 Media Foundation 对 Direct X 表面进行编码

Question

我正在尝试使用 MediaFoundation API 对视频进行编码，但在将样本推送到 SinkWriter 时遇到问题。

我正在通过桌面复制 API 获取要编码的帧。我最终得到的是一个 ID3D11Texture2D，其中包含桌面图像。

我正在尝试创建一个包含此表面的 IMFVideoSample，然后将该视频样本推送到 SinkWriter。

我尝试过以不同的方式解决这个问题：

• 我调用了MFCreateVideoSampleFromSurface(texture, &pSample)，其中纹理是 ID3D11Texture2D，填充了 SampleTime 和 SampleDuration，然后将创建的样本传递给 SinkWriter。
  SinkWriter 返回 E_INVALIDARG。

• 我尝试通过将 nullptr 作为第一个参数传递并自己使用 MFCreateDXGISurfaceBuffer 创建缓冲区来创建示例，然后将生成的缓冲区传递给示例。
  那也没用。

• 我通读了 MediaFoundation 文档，但找不到有关如何使用 DirectX 纹理创建示例的详细信息。

我没有东西可以尝试了。
有没有人以前使用过这个 API 并且可以想到我应该检查的东西，或者我可以如何去调试它？

Answer 1

首先你应该学会使用mftrace tool。 很可能，它会立即告诉您问题所在。

但我的猜测是，可能会出现以下问题。

1. 可能除了 SampleTime / SampleDuration 之外，还需要一些其他属性。

2. 可能 SinkWriter 需要它可以在 CPU 上读取的纹理。为了解决这个问题，当一个框架可用时，创建一个相同格式 + 大小的暂存纹理，调用 CopyResource 将桌面复制到暂存纹理，然后将该暂存纹理传递给 MF。

3. 即使您使用硬件编码器使 CPU 从不尝试读取纹理数据，我认为直接将桌面纹理传递给 MF 也不是一个好主意。

当您为样本设置 D3D 纹理时，不会在任何地方复制任何数据，样本仅保留纹理。

MF 异步工作，如果需要，它可以在其拓扑节点中缓冲多个样本。

DD 同步为您提供数据，您只能在 AcquireNextFrame 和 ReleaseFrame 调用之间访问纹理。