哥伦比亚大学 | Zero-1-to-3: 由一张图像生成三维物体

【论文链接】https://arxiv.org/pdf/2303.11328.pdf

【项目链接】https://github.com/cvlab-columbia/zero123

【摘要】该文介绍了Zero-1-to-3，这是一个框架，可以仅通过一张RGB图像改变物体的相机视角。为了在这种不完备的情况下执行新视角合成，利用了大规模扩散模型学习的有关自然图像的几何先验知识。条件扩散模型使用合成数据集学习相对相机视角的控制，这使得可以在指定的相机变换下生成同一对象的新图像。

尽管它是在合成数据集上训练的，但该模型仍然保持了很强的零样本泛化能力，可以适应分布外的数据集以及野外图像，包括印象派绘画。该视角条件扩散方法还可以用于从单张图像进行3D重建的任务。定性和定量实验表明，该方法通过利用互联网规模的预训练，显著优于最先进的单视角3D重建和新视角合成模型。