混合神经渲染技术在大规模场景中的运动模糊渲染中的应用

​

Hybrid Neural Rendering for Large-Scale Scenes with Motion Blur

解决问题：本篇论文旨在解决从野外图像中渲染大规模场景的高保真度和视角一致性的问题，同时考虑到野外图像中不可避免的伴随着运动模糊等伪影的影响。这是一个相对较新的问题。

关键思路：本文提出了一种混合神经渲染模型，将基于图像的表示和神经三维表示相结合，以实现高质量、视角一致的图像渲染。此外，本文提出了模拟模糊效果的策略，以减少运动模糊等伪影的负面影响，并利用预计算的质量感知权重在训练过程中降低其重要性。相比当前领域的研究，本文的思路创新之处在于将不同表示方式相结合，以提高渲染质量。

其他亮点：本文在真实和合成数据上进行了广泛的实验，证明了该模型在新视角合成方面优于现有的点云方法。此外，本文提供了可用于复现实验结果的代码。

关于作者：本文的主要作者包括Peng Dai、Yinda Zhang、Xin Yu、Xiaoyang Lyu和Xiaojuan Qi。他们分别隶属于华中科技大学、谷歌和腾讯。Peng Dai曾发表过题为“Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes”的论文，Yinda Zhang曾发表过题为“Deep TEN: Texture Encoding Network”的论文，Xin Yu曾发表过题为“Pixel-Level Multi-Task Domain Adaptation for Object Detection”的论文，Xiaoyang Lyu曾发表过题为“Learning to Synthesize Motion Blur”的论文，Xiaojuan Qi曾发表过题为“Vital: VIsual Tracking via Adversarial Learning”的论文。

相关研究：与本文相关的其他研究包括：1）“Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes”（作者：Peng Dai等，机构：华中科技大学）；2）“Deep TEN: Texture Encoding Network”（作者：Yinda Zhang等，机构：谷歌）；3）“Pixel-Level Multi-Task Domain Adaptation for Object Detection”（作者：Xin Yu等，机构：腾讯）；4）“Learning to Synthesize Motion Blur”（作者：Xiaoyang Lyu等，机构：加州大学伯克利分校）；5）“Vital: VIsual Tracking via Adversarial Learning”（作者：Xiaojuan Qi等，机构：南京大学）。

论文摘要：本文介绍了一种混合神经渲染模型，旨在从野外图像中渲染出高保真、视角一致的大规模场景的新视角图像。该模型融合了基于图像和神经三维表示的优点，以渲染高质量、视角一致的图像。此外，由于野外拍摄的图像不可避免地包含众多伪影，如运动模糊，这将导致渲染图像质量下降。因此，文章提出了一些策略来模拟渲染图像的模糊效果，以减轻模糊图像的负面影响，并基于预先计算的质量感知权重减少其在训练中的重要性。通过对真实和合成数据的广泛实验，证明了该模型在新视角合成方面优于最先进的基于点的方法。该模型的代码可在https://daipengwa.github.io/Hybrid-Rendering-ProjectPage上获取。

​Read More