苹果提出NeILF++：用于几何和材料估算的可反射光场

​

本文提出了一个基于多视图图像的联合几何、材料和照明估计系统，其中光场由出射光场和入射光场组成。两个光场可以通过互反射约束来统一，即表面之间线段两端的出射辐射和入射光应该一致。一方面，出射辐射场和反射间约束的引入使入射光正则化，从而改进了估计的材料。另一方面，在与入射光和材料的联合训练过程中，也对从出射光优化中获得的几何结构进行了细化。

NeILF++: Inter-Reflectable Light Fields for Geometry and Material Estimation

Jingyang Zhang, Yao Yao, Shiwei Li, Jingbo Liu, Tian Fang, David McKinnon, Yanghai Tsin, Long Quan

[Apple]

1. 本文提出了一个新颖的可微分渲染框架，用于从多视角图像中进行几何、材料和光照的联合估计。与之前假设一个简化的环境图或同位手电筒的方法相比，在这项工作中，我们将静态场景的照明表述为一个神经入射光场（NeILF）和一个出射神经辐射度场（NeRF）。
2. 所提出的方法的关键见解是通过基于物理的渲染和表面之间的相互反射来联合入射光场和出射光场，从而有可能以基于物理的方式将场景的几何、材料和照明从图像观察中分离出来。所提出的入射光和相互反射框架可以很容易地应用于其他NeRF系统。
3. 我们表明，我们的方法不仅可以将出射光度分解为入射光和表面材料，而且还可以作为一个表面细化模块，进一步提高神经表面的重建细节。我们在几个数据集上证明，所提出的方法能够在几何重建质量、材料估计精度和新视角渲染的保真度方面取得最先进的结果。

代码地址： https://yoyo000.github.io/NeILF_pp

https://arxiv.org/pdf/2303.17147.pdf

​Read More