韩国科学技术院 & Meta | 逐步优化的本地辐射场用于鲁棒的视图合成

​

【推荐理由】本文提出了一种从单个随意拍摄的视频中重建大规模场景辐射场的算法。文章展示了渐进优化显著提高了重建的稳健性。该方法与最先进的技术相比，表现出更好的效果。

Progressively Optimized Local Radiance Fields for Robust View Synthesis
Andreas Meuleman, Yu-Lun Liu, Chen Gao, Jia-Bin Huang, Changil Kim, Min H. Kim, Johannes Kopf
[KAIST & National Taiwan University & Meta & University of Maryland, College Park]

【论文链接】https://arxiv.org/pdf/2303.13791.pdf

【项目链接】https://localrf.github.io/

【摘要】本文提出了一种算法，可以从一个随意拍摄的视频中重建大规模场景的辐射场。这项任务面临着两个核心挑战。首先，大多数现有的辐射场重建方法依赖于来自结构从运动算法的精确预估相机姿态，但这种方法经常在野外视频中失败。其次，使用单个具有有限表示能力的全局辐射场无法扩展到未知场景的较长轨迹。为了处理未知姿态，本文以渐进的方式联合估计相机姿态和辐射场。文章展示了渐进优化显著提高了重建的鲁棒性。为了处理大型未知场景，作者动态分配新的局部辐射场，这些场景是在一个时间窗口内训练的。这进一步提高了鲁棒性（例如，即使在适度的姿态漂移下也表现良好），并使其能够扩展到大型场景。作者在TANKS AND TEMPLES数据集和我们收集的户外数据集STATIC HIKES上进行了广泛的评估，结果显示该方法比现有技术表现更好。

​Read More