NeRF（神经辐射场）用于什么？

Question

最近我在研究 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis(https://www.matthewtancik.com/nerf)，我想知道：它是做什么用的？ NeRF会有应用吗？

这项技术的成果令人印象深刻，但它是用来做什么的呢？我一遍又一遍地思考这个问题。非常逼真，画质完美，但我们不希望看到相机一直在晃动，对吧？

就个人而言，这种技术有一些局限性：

1. 无法生成在输入图像中从未见过的视图。这种技术在两个视图之间进行插值。

2. 训练和渲染时间长：根据作者的说法，训练一个场景需要 12 小时，渲染一帧需要 30 秒。

3. 视图是静态的，不可交互。

我不知道拿NeRF和Panorama和360°图像/视频比较是否合适，本质上它们是不同的，只有NeRF使用深度学习生成新视图，其他基本上只是使用智能手机/相机捕捉场景加上一些计算机视觉技术。尽管如此，长时间的训练使 NeRF 在这个应用领域的竞争力下降。我说的对吗？

我能想到的另一个实用程序是产品渲染，但是与使用 3D 软件渲染相比，NeRF 并没有显示出优势。和商业广告一样，通常需要动画和特效，那么3D软件肯定会做得更好。

NeRF 的潜在用途可能是 3D 重建，但这超出了范围，尽管它能够做到这一点。为什么我们需要使用 NeRF 进行 3D 重建？为什么不使用其他重建技术？ NeRF 的独特之处在于能够创建照片般逼真的视图，如果我们使用 NeRF 进行 3D 重建，那么这个特性就变得毫无意义了。

有人有新想法吗？我想知道。

Answer 1

为什么我们需要使用 NeRF 进行 3D 重建？

替代方案是多视图立体，它产生有限分辨率的点云，并且容易受到光照变化的影响。如果您随后在没有重要的后期处理的情况下渲染这样的点云，它看起来就不会像照片般逼真。

我不知道将NeRF与Panorama和360°图像/视频进行比较是否合适，

好吧，如果您使用简单的照明（即环境光和朗伯物体）处理完全平坦的场景，那么您可以使用全景技术进行新的视图合成。但总的来说，它不会产生您期望的结果。您必须知道正确插值的深度。

当涉及到实际限制（缓慢；不模拟变形）时，应将 NeRF 视为一个里程碑，它提供了一个概念证明，即将表面表示为 MLP 建模函数的水平集可以导致清晰的渲染。在解决这些限制方面已经取得了很好的进展，并且多项工作将这一想法应用于实际任务。