基于富文本的表达式文本图像生成

​

Expressive Text-to-Image Generation with Rich Text

Songwei Ge, Taesung Park, Jun-Yan Zhu, Jia-Bin Huang
[University of Maryland & Adobe Research & CMU]

基于富文本的表达式文本图像生成

要点:

• 动机：现有的文本生成图像方法存在一些问题，例如无法精确描述连续的量，也无法针对复杂场景进行详细的描述，限制了用户的定制化需求。因此，本文提出用富文本编辑器进行描述的方法，以实现更精确的控制和定制化。
• 方法：使用富文本编辑器对文本进行描述，通过提取每个词的属性，实现局部样式控制、精确的颜色渲染、以及详尽的区域生成。使用基于区域的扩散过程实现这些能力。先用普通文本的交叉注意力映射获取每个词的区域，然后针对每个区域，创建区域特定的详细提示和应用区域特定的引导，以强制执行其文本属性。
• 优势：用所提出的方法，能生成具有局部样式、精确颜色、不同Token重要性和复杂描述的图像。相比于现有的基于普通文本的方法，所提出的方法能够更好地控制和定制图像，生成更加具有个性和丰富细节的图像。

提出一种图像生成的方法，可以通过富文本编辑器对文本进行描述，实现更精确的控制和定制，比如字体、大小、颜色等，能生成更具个性和丰富细节的图像。

https://arxiv.org/abs/2304.06720 

​Read More