CVPR 2025:单图秒变专业影棚,几何/材质/光影全搞定,数据代码开源

20次阅读
没有评论

CVPR 2025:单图秒变专业影棚,几何/材质/光影全搞定,数据代码开源

香港中文大学、上海人工智能实验室及南洋理工大学的研究团队联合研发

Neural LightRig团队 投稿

量子位 | 公众号 QbitAI

如何从一张普通的单幅图像准确估计物体的三维法线和材质属性,是计算机视觉与图形学领域长期关注的难题。

这种单图逆渲染任务存在严重的不确定性,传统方法通常需要多角度或多光源的拍摄条件,难以在日常场景中普遍应用。

近日,由香港中文大学、上海人工智能实验室及南洋理工大学的研究团队联合研发的论文《Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion》。

CVPR 2025:单图秒变专业影棚,几何/材质/光影全搞定,数据代码开源

其成果已被计算机视觉顶级会议CVPR 2025正式接收。

CVPR 2025:单图秒变专业影棚,几何/材质/光影全搞定,数据代码开源

核心立意

Neural LightRig创新性地提出利用图像扩散模型(如Stable Diffusion)的强大先验信息,生成虚拟的多光照图像,从而有效解决单图估计法线和PBR材质过程中存在的不确定性问题。

CVPR 2025:单图秒变专业影棚,几何/材质/光影全搞定,数据代码开源

研究团队首次提出通过微调预训练的图像扩散模型,生成不同光照条件下的一致性多光照图像序列,这种方法有效减少了单图估计过程中的内在不确定性。

混合条件策略:通过通道级别的图像拼接与参考注意力机制的结合,引入输入图像的先验信息,有效保证了生成图像的颜色和纹理细节的一致性。

双阶段微调策略:首先仅微调扩散模型的初始卷积层及注意力层,以稳定早期训练;随后以较低学习率微调整个模型,进一步提升模型生成多光照图像的质量。

CVPR 2025:单图秒变专业影棚,几何/材质/光影全搞定,数据代码开源

2. 基于U-Net的大型G-buffer重建模型

利用扩散模型生成的多光照图像作为辅助信息,团队设计了一个基于U-Net架构的回归模型,以实现对物体表面法线和PBR材质属性(包括反照率、粗糙度、金属性)的高效精确估计。

显式光照条件输入:通过对光源位置进行球面坐标编码,使模型能显式地关联不同光照方向下的图像变化,更有效地预测物体表面属性。

优化目标设计:采用余弦相似度损失和均方误差(MSE)联合优化法线估计,材质估计则采用简单而有效的均方误差损失。

数据增强策略:针对扩散模型生成图像与真实渲染图像之间的领域差异,提出随机降质、亮度调整、光照方向扰动和数据混合策略,以提高模型的泛化能力与稳定性。

实验表现

在自主构建的大规模数据集LightProp上的实验结果表明,Neural LightRig在各项指标上全面超越现有先进方法:

  • 法线估计:平均角度误差显著降低至6.413°,大幅提高估计精度(详见论文表1和图5);
  • 材质估计与新光照下渲染效果:实现了对反照率、粗糙度和金属性等材质属性的精准估计,并能够生成逼真的单图重光照效果(详见论文表2与图6图7)。
CVPR 2025:单图秒变专业影棚,几何/材质/光影全搞定,数据代码开源
CVPR 2025:单图秒变专业影棚,几何/材质/光影全搞定,数据代码开源

此外,该方法在真实世界图像中的泛化表现突出,展现出良好的实际应用潜力,适用于增强现实(AR)、虚拟现实(VR)和数字内容创作等广泛领域。

法线估计

CVPR 2025:单图秒变专业影棚,几何/材质/光影全搞定,数据代码开源

材质估计

CVPR 2025:单图秒变专业影棚,几何/材质/光影全搞定,数据代码开源

新光照渲染

CVPR 2025:单图秒变专业影棚,几何/材质/光影全搞定,数据代码开源

开源与资源
为促进研究与应用,研究团队已公开了相关资源,欢迎社区同行积极使用和探索:
代码开源地址:
https://github.com/ZexinHe/Neural-LightRig

数据集开源地址: https://huggingface.co/datasets/zxhezexin/NLR-LightProp-Objaverse-Renderings

预训练模型地址: https://huggingface.co/zxhezexin/neural-lightrig-mld-and-recon

论文链接: https://arxiv.org/abs/2412.09593
项目主页: https://projects.zxhezexin.com/neural-lightrig/

版权所有,未经授权不得以任何形式转载及使用,违者必究。

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy