清华&MSRA | 使用2D扩散模型生成3D感知图像

794次阅读
没有评论

【推荐理由】本文提出使用2D扩散模型生成3D感知图像的新模型。文章首次在大规模数据集ImageNet上训练该模型,能产生高质量的图像。

3D-aware Image Generation using 2D Diffusion Models

Jianfeng Xiang, Jiaolong Yang, Binbin Huang, Xin Tong

[Tsinghua University & Microsoft Research Asia & ShanghaiTech University]

【论文链接】https://arxiv.org/pdf/2303.17905.pdf

【项目链接】https://jeffreyxiang.github.io/ivid/

【摘要】本文介绍了一种新颖的3D感知图像生成方法,利用了2D扩散模型。作者将3D感知图像生成任务形式化为多视角2D图像集生成,并进一步发展为序列无条件-有条件多视角图像生成过程。这使得能够利用2D扩散模型提高方法的生成建模能力。此外,文章结合来自单目深度估计器的深度信息,使用仅静态图像构建有条件扩散模型的训练数据。作者在大规模数据集ImageNet上训练我们的方法,这是以前的方法没有涉及的。它产生高质量的图像,明显优于以前的方法。此外,该方法展示了其能力,即使训练图像来自“野外”真实环境中不同的未对准的图像,也能生成具有大视角的实例。

清华&MSRA | 使用2D扩散模型生成3D感知图像

清华&MSRA | 使用2D扩散模型生成3D感知图像

 

 

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy