《NERF++: 分析与改进神经辐射场》旨在对标现有的 NeRF 方法,并提出改进方案以解决 NeRF 在处理大尺度、无界 3D 场景时的不足。现有 NeRF 方法主要用于生成高质量的视图合成,尽管它在各种捕捉设置(包括 360 度和正前方捕捉)中表现良好,但存在一些关键缺点:
现有方法的缺点:
**形状-辐射模糊问题:**NeRF 依赖 5D 函数(3D 坐标加 2D 视角方向)来模拟物体的形状和辐射场,但这种函数在没有正则化的情况下容易产生退化解,即通过错误的几何形状仍能完美拟合训练图像,却无法推广到新视角。
**空间参数化问题:**NeRF 的空间参数化假设场景是有界的,这在处理大尺度、无界的 3D 场景(如户外 360 度捕捉)时存在明显局限性。NeRF 要么只能捕捉到场景的一部分导致背景缺失,要么捕捉整个场景但细节分辨率不足。
文章解决的问题:
本论文通过提出一种反转球体参数化来解决 NeRF 在无界场景中建模的问题,将场景分为前景和背景两个部分,分别进行建模,从而改善视图合成质量,特别是在无界 360 度场景中。
创新点:
**形状-辐射模糊分析:**该文章深入分析了 NeRF 之所以能避免形状-辐射模糊问题的原因,提出 NeRF 的 MLP 结构有助于恢复正确的解,并通过实验验证了这一点。
**反转球体参数化:**为了解决 NeRF 在无界场景中捕捉的局限性,本文提出了一种新颖的反转球体参数化方法,将前景与背景分开建模,并通过球体的反转坐标进行参数化,从而大大提高了场景的细节保真度。