闪烁的金属输出纹理...为什么？

Question

我正在尝试在现有纹理的顶部放置多个叠加层（纹理）。在大多数情况下，这可以正常工作。

但是，就我的一生而言，我无法弄清楚为什么在我的 drawRect 的 MTKView 方法中这个输出偶尔会“闪烁”。一切似乎都很好；在循环放置叠加层后，我对theTexture（在内核着色器中）进行进一步处理。出于某种原因，我觉得这种编码提前结束了，而且还没有完成足够的工作。

澄清一下，一切开始正常，但大约 5 秒后，闪烁开始并逐渐恶化。出于调试目的（现在，无论如何），循环只运行一次——只有一个覆盖元素。每次开始之前，输入纹理 (theTexture) 都是真实的（使用 storageMode 为 MTLStorageModeManaged 且使用为 MTLTextureUsageUnknown 的描述符创建）。

我还尝试将编码器实例化/结束填充到循环中；没有区别。

谁能帮我看看我做错了什么？

id<MTLTexture> theTexture; // valid input texture as "background"

MTLRenderPassDescriptor *myRenderPassDesc = [MTLRenderPassDescriptor renderPassDescriptor];
myRenderPassDesc.colorAttachments[0].texture = theTexture;
myRenderPassDesc.colorAttachments[0].storeAction = MTLStoreActionStore;
myRenderPassDesc.colorAttachments[0].loadAction = MTLLoadActionLoad;

id<MTLRenderCommandEncoder> myEncoder = [commandBuffer renderCommandEncoderWithDescriptor:myRenderPassDesc];
MTLViewport viewPort = {0.0, 0.0, 1920.0, 1080.0, -1.0, 1.0};
vector_uint2 imgSize = vector2((u_int32_t)1920,(u_int32_t)1080);
[myEncoder setViewport:viewPort];
[myEncoder setRenderPipelineState:metalVertexPipelineState];

for (OverlayWrapper *ow in overlays) {
    id<MTLTexture> overlayTexture = ow.overlayTexture;

    VertexRenderSet *v = [ow getOverlayVertexInfoPtr];
    NSUInteger vSize = v->metalVertexCount*sizeof(AAPLVertex);
    id<MTLBuffer> mBuff = [self.device newBufferWithBytes:v->metalVertices
                                                   length:vSize
                                                  options:MTLResourceStorageModeShared];

    [myEncoder setVertexBuffer:mBuff offset:0 atIndex:0];
    [myEncoder setVertexBytes:&imgSize length:sizeof(imgSize) atIndex:1];
    [myEncoder setFragmentTexture:overlayTexture atIndex:0];
    [myEncoder drawPrimitives:MTLPrimitiveTypeTriangle vertexStart:0 vertexCount:v->metalVertexCount];
}

[myEncoder endEncoding];

// do more work (kernel shader) with "theTexture"...

---

---

更新 #1： 我附上了一个“好”框架的图像，显​​示了顶点区域（右下角）。我的编码器负责将绿色替代“图像”以 30fps 的速度放置在视频帧 theTexture 的顶部，它确实这样做了。澄清一下，theTexture 是为每一帧创建的（来自 CoreVideo 像素缓冲区）。在这个编码器之后，我只在内核着色器中读取theTexture 来调整亮度——一切都很好。

我的问题一定存在于其他地方，因为视频帧停止流动（尽管音频继续播放），并且一旦插入此编码器（因此，闪烁），我最终会在 2 或 3 个之前的帧之间交替。我现在相信我的视频像素缓冲区供应商无意中被这个“覆盖”供应商所取代。

如果我注释掉整个顶点渲染器，我的视频帧就可以顺利通过；这不是我的视频帧供应商的问题。

更新 #2：

这是我的渲染管道的声明：

MTLRenderPipelineDescriptor *p = [[MTLRenderPipelineDescriptor alloc] init];
if (!p)
    return nil;
p.label = @"Vertex Mapping Pipeline";
p.vertexFunction   = [metalLibrary newFunctionWithName:@"vertexShader"];
p.fragmentFunction = [metalLibrary newFunctionWithName:@"samplingShader"];
p.colorAttachments[0].pixelFormat = MTLPixelFormatBGRA8Unorm;

NSError *error;
metalVertexPipelineState = [self.device newRenderPipelineStateWithDescriptor:p
                                                                       error:&error];
if (error || !metalVertexPipelineState)
    return nil;

这是用于创建theTexture的纹理描述符：

metalTextureDescriptor = [MTLTextureDescriptor texture2DDescriptorWithPixelFormat:MTLPixelFormatBGRA8Unorm 
                                                                            width:width
                                                                           height:height
                                                                        mipmapped:NO];
metalTextureDescriptor.storageMode = MTLStorageModePrivate;
metalTextureDescriptor.usage = MTLTextureUsageUnknown;

我没有包含 AAPLVertex 和顶点/片段函数，因为：如果我只是在我的渲染代码中注释掉 OverlayWrapper 循环（即，甚至不设置顶点缓冲区或绘制图元） ，视频帧仍然闪烁。视频仍在播放，但只有 2-3 帧左右在连续循环播放，从该编码器“运行”开始。

我还在[... endEncoding] 之后添加了这段代码，并将纹理用法更改为MTLStorageModeManaged——仍然，没有骰子：

id<MTLBlitCommandEncoder> blitEncoder = [commandBuffer blitCommandEncoder];
[blitEncoder synchronizeResource:crossfadeOutput];
[blitEncoder endEncoding];

澄清几点：后续计算机着色器使用theTexture 仅作为输入。这些是视频帧；因此，theTexture 每次都会重新创建。在它通过这个渲染阶段之前，它有一个真正的“背景”

---

更新 #3：

如果通过非常规的方式，我得到了这个工作。

我使用此顶点着色器将我的叠加层渲染到新创建的空白纹理的透明背景上，特别是我的 loadAction 是 MTLLoadActionClear，其 clearColor 为 (0,0,0,0)。

然后我将这个生成的纹理与我的theTexture 与内核着色器混合。我应该不必须这样做，但它有效！

Answer 1

我遇到了同样的问题，想在尝试@zzyzy 之前探索一个更简单的解决方案。这个解决方案也有些不尽人意，但至少看起来有效。

关键（但其本身不足）是减少金属层上的缓冲：

metalLayer_.maximumDrawableCount = 2

其次，一旦缓冲减少，我发现我必须通过渲染/呈现/提交周期来绘制一个琐碎的、不可见的项目，并在渲染通道描述符上设置.clear — 非常简单：

renderPassDescriptor.colorAttachments[0].loadAction = .clear

（绘制了一些不可见的三角形可能无关紧要；可能是MTLLoadActionClear 属性区分了pass。我使用了与上面@zzyzy 相同的清晰颜色，我认为这与上述解决方案相呼应。）

第三，我发现我必须在渲染/呈现/提交周期中运行代码第二次——即连续两次。在这三个中，这似乎是最随意的，我不假装理解它，但三个一起为我工作。