【推荐理由】本文使用自监督深度估计文献中的多视图光度目标作为体积渲染的几何正则化器,在不需要额外信息的情况下显着改进新视图合成。该架构在 ScanNet 基准测试中取得了最先进的结果,能够在有限的视点多样性设置中实现高质量的体积渲染以及实时新视图和深度合成。
DeLiRa: Self-Supervised Depth, Light, and Radiance Fields
Vitor Guizilini, Igor Vasiljevic, Jiading Fang, Rares Ambrus, Sergey Zakharov, Vincent Sitzmann, Adrien Gaidon
Vitor Guizilini, Igor Vasiljevic, Jiading Fang, Rares Ambrus, Sergey Zakharov, Vincent Sitzmann, Adrien Gaidon
[Toyota Research Institute (TRI), Los Altos, CA & Toyota Technological Institute of Chicago (TTIC), Chicago, IL & Massachusetts Institute of Technology (MIT), Cambridge, MA]
【论文链接】https://arxiv.org/pdf/2304.02797.pdf
【项目链接】https://sites.google.com/view/tri-delira
【摘要】可区分体积渲染是 3D 重建和新视图合成的强大范例。 然而,在视点多样性有限的情况下,标准体绘制方法与退化几何体作斗争,这是机器人应用中的常见场景。 在这项工作中,作者使用自监督深度估计文献中的多视图光度目标作为体积渲染的几何正则化器,在不需要额外信息的情况下显着改进新视图合成。 基于这种洞察力,文章探索了使用通才 Transformer 的场景几何的显式建模,使用一组共享的潜在代码共同学习辐射场以及深度和光场。 文章证明跨任务共享几何信息是互惠互利的,从而在不增加网络复杂性的情况下改进单任务学习。 DeLiRa 架构在 ScanNet 基准测试中取得了最先进的结果,能够在有限的视点多样性设置中实现高质量的体积渲染以及实时新视图和深度合成。
正文完
可以使用微信扫码关注公众号(ID:xzluomor)