慕尼黑工业大学提出Text2Room：从文本-图像生成模型中提取3D数据

​

本文提出Text2Room算法，实现了以文本提示为输入从二维文本-图像生成模型中提取三维网格数据。为此，作者利用预训练的二维生成模型合成不同角度的图像，并利用一个基于文本的填补模型结合单目深度识别算法实现2D到3D的扩展。本文的主要思路是使用一个细致的视角玄策算法，从而将不同图像的内容结合到三维空间中。更进一步地，作者提出了一个持续对齐策略，从而在三维空间的中间结果中不断融合和对齐场景信息，从而实现了多目标的复杂几何表示。

标题：Text2Room: Extracting Textured 3D Meshes from 2D Text-to-Image Models

论文：https://arxiv.org/pdf/2303.11989.pdf

网址（可在线体验）：https://lukashoel.github.io/text-to-room/

作者：Lukas Höllein, Ang Cao, Andrew Owens, Justin Johnson, Matthias Nießner