鲁汶大学 | 神经残差辐射场用于流畅的自由视点视频

​

【推荐理由】本文提出一种新的基于残差辐射场的技术（ReRF）用于视频渲染。大量实验证明了ReRF在紧凑表示动态辐射场方面的有效性，为速度和质量提供了前所未有的自由视点观看体验。

Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos
Liao Wang, Qiang Hu, Qihan He, Ziyu Wang, Jingyi Yu, Tinne Tuytelaars, Lan Xu, Minye Wu

 ShanghaiTech University & KU Leuven & NeuDim & DGene

【论文链接】https://arxiv.org/pdf/2304.04452.pdf

【摘要】神经辐射场（Neural Radiance Fields，NeRFs）成功地模拟和自由视角渲染静态对象，启发了许多关于动态场景的尝试。目前利用神经渲染实现自由视角视频（FVV）的技术仅限于离线渲染或仅能处理短暂序列并且有最小的运动。本文提出一种新的技术，称为残差辐射场（Residual Radiance Field，ReRF），作为高度紧凑的神经表示，以实现在长时间动态场景中实时的FVV渲染。ReRF显式地建模时空特征空间中相邻时间戳之间的残差信息，使用全局坐标为基础的微小MLP作为特征解码器。具体而言，ReRF采用紧凑的运动网格以及残差特征网格来利用帧间特征相似性。文章展示了这样的策略可以处理大运动而不会影响质量。作者进一步提出了一个连续的训练方案来维持运动/残差网格的平滑性和稀疏性。基于ReRF，文章设计了一种特殊的FVV编解码器，实现了三个数量级的压缩率，并提供了一个伴随的ReRF播放器，支持动态场景的长时间FVV在线流媒体。大量实验证明了ReRF在紧凑表示动态辐射场方面的有效性，为速度和质量提供了前所未有的自由视点观看体验。

​Read More