浙大 & 谷歌 | SINE：具有先验指导编辑场的基于语义的图像 NeRF 编辑

​

【推荐理由】NeRF 编辑允许用户使用单个图像编辑神经辐射场，该方法仅使用单个编辑过的图像实现了逼真的 3D 编辑。

SINE: Semantic-driven Image-based NeRF Editing with Prior-guided Editing Field

Chong Bao, Yinda Zhang, Bangbang Yang, Tianxing Fan, Zesong Yang, Hujun Bao, Guofeng Zhang,  Zhaopeng Cui

[State Key Lab of CAD & CG, Zhejiang University  & Google]

【论文链接】https://arxiv.org/pdf/2303.13277.pdf

【项目链接】https://zju3dv.github.io/sine/

【摘要】尽管使用用户友好的工具（例如 Photoshop、语义笔划甚至文本提示）在 2D 编辑方面取得了巨大成功，但 3D 领域的类似功能仍然有限，要么依赖于 3D 建模技能，要么只允许在几个类别内进行编辑。 在本文中，作者提出了一种新颖的语义驱动的 NeRF 编辑方法，使用户能够使用单个图像编辑神经辐射场，并忠实地提供具有高保真度和多视图一致性的编辑后的新视图。 为了实现这一目标，作者提出了一个先验引导编辑领域来编码 3D 空间中的细粒度几何和纹理编辑，并开发了一系列技术来辅助编辑过程，包括使用代理网格的循环约束以促进几何监督， 一种颜色合成机制来稳定语义驱动的纹理编辑，以及一种基于特征集群的正则化来保持不相关的内容不变。 对真实世界和合成数据的大量实验和编辑示例表明，该方法仅使用单个编辑图像即可实现照片般逼真的 3D 编辑，从而突破了 3D 真实世界场景中语义驱动编辑的界限。

​Read More