实时抗锯齿神经渲染的多尺度表示

​

Multiscale Representation for Real-Time Anti-Aliasing Neural Rendering

解决问题：本论文旨在解决Neural Radiance Field (NeRF)在非均匀尺度下训练和远距离视角下测试时出现的模糊和锯齿状伪影问题，提出了一种实时抗锯齿的多尺度表示方法。

关键思路：Mip-VoG是一种显式的多尺度表示方法，包括密度Mip-VoG和特征Mip-VoG，用于场景几何和视角相关颜色的表示。通过射线微分计算出LOD，使用四线性插值将查询的3D位置映射到两个相邻的下采样体素网格的特征和密度。相比较于之前的方法，Mip-VoG不需要依赖于积分位置编码(IPE)来查询多层感知器(MLP)，因此适用于实时抗锯齿渲染。

其他亮点：本论文是第一个同时提供多尺度训练和实时抗锯齿渲染的方法。实验结果表明，该方法优于当前最先进的实时渲染基线。

关于作者：本文的主要作者是来自清华大学的胡东亭、张振凯和侯廷波，以及来自美国加州大学伯克利分校的刘同亮、傅欢和龚明明。他们都有着丰富的计算机图形学研究经验。例如，胡东亭曾在SIGGRAPH Asia 2019上发表了关于场景重建的论文，张振凯曾在ICCV 2019上发表了关于人体姿态估计的论文，侯廷波曾在ECCV 2018上发表了关于人体姿态估计的论文，刘同亮曾在CVPR 2019上发表了关于深度学习和图形学的论文，傅欢曾在SIGGRAPH Asia 2019上发表了关于3D重建的论文，龚明明曾在CVPR 2020上发表了关于场景理解的论文。

相关研究：近期的相关研究包括：1. “Learning to Synthesize 3D Point Clouds with Conditional Shape and Appearance Generation” by Y. Liu et al. from Tsinghua University and Adobe Research. 2. “Neural Sparse Voxel Fields” by B. Graham et al. from Facebook Reality Labs. 3. “Learning to Infer Implicit Surfaces without 3D Supervision” by S. Wang et al. from University of California, Los Angeles.

论文摘要：这篇论文讨论了神经辐射场（NeRF）中的渲染方案，该方案通过向场景中投射一条光线来渲染像素。然而，当训练图像在非均匀尺度下捕获时，NeRF会产生模糊的渲染结果，如果测试图像在远距离视角下捕获，则会产生走样伪影。为了解决这个问题，Mip-NeRF提出了一个锥形截锥体作为多尺度表示来编码尺度信息。然而，这种方法只适用于离线渲染，因为它依赖于集成位置编码（IPE）来查询多层感知器（MLP）。为了克服这个限制，作者提出了Mip-VoG，一种显式的多尺度表示和延迟架构，用于实时抗锯齿渲染。作者的方法包括一个密度Mip-VoG用于场景几何和一个带有小型MLP的特征Mip-VoG用于视角相关的颜色。Mip-VoG使用从光线微分中得出的细节级别（LOD）来编码场景尺度，并使用四线性插值将查询的3D位置从两个相邻的下采样体素网格映射到其特征和密度。据作者所知，这种方法是第一个同时提供多尺度训练和实时抗锯齿渲染的方法。作者在多尺度数据集上进行了实验，结果表明，他们的方法优于现有的实时渲染基准。

​Read More