对标方法
这篇文章对标现有的神经隐式表示方法，特别是Neural Implicit Surface（NeuS）方法。NeuS能够在多视角重建中表现出色，但在处理透明容器内部的物体时存在局限性。传统的结构光（Structure from Motion，SfM）和现代神经重建方法在面对透明容器的多重光反射和折射时，无法可靠地重建3D几何结构。
现有方法的缺点
- 传统SfM方法：这些方法在透明介质的多重光反射和折射面前表现不佳，因为它们依赖单一视角的假设。
- 神经隐式表示方法：虽然这些方法在新视图合成和3D重建任务中表现出色，但它们没有考虑到光的反射。尽管NeRFReN尝试包含反射效应，但无法处理复杂的多重折射和反射场景。
文章解决的问题
这篇文章提出了一种新的研究问题：从多个2D视图重建透明容器内物体的3D几何形状。透明容器会导致严重的图像畸变，现有的多视角3D重建方法难以解决这个问题。因此，本文旨在通过显式建模场景的内部和外部空间，解决光在不同介质间的复杂交互，最终实现对透明容器内部物体的高质量3D重建。
创新点
- 新问题定义：首次定义了透明容器内物体的3D重建问题。
- ReNeuS方法：提出了一种新的3D重建方法ReNeuS，能够处理多重光反射和折射。该方法使用了一种新颖的混合渲染策略，将体渲染与光线追踪相结合。
- 场景分割策略：通过显式分割场景为内部空间和外部空间，分别对透明容器内外的光交互进行建模。
实验结果
实验结果表明，ReNeuS在合成数据和真实数据集上的表现均优于现有的SOTA方法。具体表现为：
- 在合成数据集上，ReNeuS在有透明容器的情况下能够实现比现有方法更低的Chamfer-L1距离。
- 在真实数据集上，ReNeuS能够成功重建出透明容器内的物体，包括细小的结构，如昆虫的翅膀和触角。
总体而言，本文在处理透明容器内物体的3D重建问题上取得了显著的进展，提出的方法在多重光交互的复杂场景中展示了强大的能力。
模型的输入输出
输入：
- (N) 个姿态已知的图像：这些图像包含了透明矩形盒子中物体的多个视角 。
- 透明矩形盒子的已知几何形状：模型假设透明盒子的几何形状和位置是已知的，以简化问题。
输出：
- 内部物体的几何形状和体积外观表示：通过优化渲染图像与真实图像之间的差异，模型输出物体的3D重建结果 。
模型结构
ReNeuS模型结构：
-
场景表示：
- 内部空间（Sin）：使用隐式神经网络表示，包含一个用于几何的符号距离函数（SDF）和一个体积辐射表示 。
- 外部空间（Sout）：假设为空间，具有均匀的环境光照条件 。
-
渲染策略：
- 光线追踪：用于模拟光在不同子空间的交互。光线在内部空间中按照体积辐射场的方式传播，通过反射和折射计算反射光线和折射光线 。
- 体积渲染：结合光线追踪技术，处理光在线与外部空间交互时的传播路径 。
-
损失函数：
- 颜色损失（Lcolor）：通过L1损失函数计算渲染像素颜色与真实像素颜色之间的差异 。
- 透射损失（Ltrans）：利用稀疏先验来正则化内部空间的透射率，确保大部分内部空间是透明的 。
- 正则化损失（Lreg）：使用Eikonal正则化来正则化几何MLP 。
模型优化过程
- 对每个像素生成一个相机光线，并根据相应的相机姿态进行光线追踪。
- 将场景分割为内部空间和外部空间，并分别处理这些空间中的光线交互。
- 通过体积渲染和光线追踪的混合渲染策略，计算光线在内部和外部空间中的传播路径，并累积得到最终的像素颜色。
- 最后，通过最小化渲染图像与真实图像之间的差异，优化模型参数 。
通过以上结构和优化过程，ReNeuS模型能够在透明容器内物体的3D重建任务中表现出色，解决了现有方法在处理复杂光线反射和折射问题上的不足。
