即使在使用“准备”之后，ARKit 添加节点也会导致丢帧

Question

我正在向我之前从互联网下载的场景添加一个包含动画的3D model。在添加这个node 之前，我使用prepare 函数，因为我不想避免丢帧。但我仍然得到一个非常短的帧下降到大约 47 fps。这是由执行此prepare 函数引起的。我也尝试在其他调度队列上使用prepare(_:, shouldAbortBlock:)，但这仍然没有帮助。有人可以帮我解决这个问题或告诉我为什么会这样吗？

arView.sceneView.prepare([mediaNode]) { [mediaNode, weak self] (success) in
    guard let `self` = self else { return }
    guard
        let currentMediaNode = self.mediaNode as? SCNNode,
        currentMediaNode === mediaNode,
        !self.mainNode.childNodes.contains(mediaNode)
        else { return }
    self.mainNode.addChildNode(mediaNode)
}

顺便说一下，这是我用来加载这个模型的文件列表：

https://www.dropbox.com/s/7968fe5wfdcxbyu/Serah-iOS.dae?dl=1
https://www.dropbox.com/s/zqb6b6rxynnvc5e/0001.png?dl=1
https://www.dropbox.com/s/hy9y8qyazkcnvef/0002.tga?dl=1
https://www.dropbox.com/s/fll9jbjud7zjlsq/0004.tga?dl=1
https://www.dropbox.com/s/4niq12mezlvi5oz/0005.png?dl=1
https://www.dropbox.com/s/wikqgd46643327i/0007.png?dl=1
https://www.dropbox.com/s/fioj9bqt90vq70c/0008.tga?dl=1
https://www.dropbox.com/s/4a5jtmccyx413j7/0010.png?dl=1

DAE 文件已经由 Xcode 工具编译，因此可以在从 Internet 下载后加载。这是我下载后用来加载它的代码：

class func loadModel(fromURL url: URL) -> SCNNode? {
    let options = [SCNSceneSource.LoadingOption.animationImportPolicy : SCNSceneSource.AnimationImportPolicy.playRepeatedly]
    let sceneSource = SCNSceneSource(url: url, options: options)
    let node = sceneSource?.entryWithIdentifier("MDL_Obj", withClass: SCNNode.self)
    return node
}

Answer 1

我遇到了同样的问题。我的节点都在利用基于物理的渲染 (PBR)，当我第一次向场景添加节点时，帧速率显着下降，但在那之后就很好了。我可以添加尽可能多的其他节点而不会降低帧率。

我想出了一个解决这个问题的方法。我所做的是在创建 ARConfiguration 之后，在调用 session.run(configuration) 之前，将带有 PBR 的测试节点添加到场景中。为了不出现该节点，我将节点的材质的 colorBufferWriteMask 设置为一个空数组（请参阅此答案：ARKit hide objects behind walls）然后在添加内容之前删除该节点。添加和删​​除这个测试节点对我有用。

这是一个例子：

var pbrTestNode: SCNNode!

func addPBRTestNode() {
        let testGeometrie = SCNBox(width: 0.5, height: 0.5, length: 0.5, chamferRadius: 0)
        testGeometrie.materials.first?.diffuse.contents = UIColor.blue
        testGeometrie.materials.first?.colorBufferWriteMask = []
        testGeometrie.materials.first?.lightingModel = .physicallyBased
        pbrTestNode = SCNNode(geometry: testGeometrie)

        scene.rootNode.addChildNode(pbrTestNode)
    }

func removePBRTestNode() {
        pbrTestNode.removeFromParentNode()
    }

func startSessionWithPlaneDetection() {
        // Create a session configuration
        let configuration = ARWorldTrackingConfiguration()
        if #available(iOS 11.3, *) {
            configuration.planeDetection = [.horizontal, .vertical]
        } else {
            configuration.planeDetection = .horizontal
        }
        configuration.isLightEstimationEnabled = true

        // this prevents the delay when adding any nodes with PBR later
        sceneController.addPBRTestNode()

        // Run the view's session
        sceneView.session.run(configuration)
    }

将内容添加到场景时调用 removePBRTestNode()。

Answer 2

首先

为 AR 应用获取不超过 10K 多边形和 1K x 1K 纹理的 3D 模型。每个模型使用 5K...7K 多边形可以实现最佳结果。总的来说，SceneKit 的场景可能包含not more than 100K polygons。此建议可帮助您显着提高渲染性能，并且我想您的丢帧率将降至最低。

其次

在ARKit/SceneKit/AVKit中摆脱掉帧的最简单方法是使用Metal框架。试想一下：一个简单的图像过滤器在 GPU 上的执行速度可能比同等的基于 CPU 的过滤器快一百倍以上。对于实时 AV 视频和 3D 动画，我可以说同样的话——它们在 GPU 上的表现要好得多。

例如，您可以阅读此useful post，了解如何为AVCaptureSession 使用金属渲染。如何使用 Metal 的工作流程很棒。

附：在编写代码之前，请在 3D 创作工具中检查您的动画对象/场景（如果可以的话）。