MagicFusion:通过融合扩散模型来提高文本到图像的生成性能

1,113次阅读
没有评论

项目地址:https://magicfusion.github.io 

Jing Zhao, Heliang Zheng, Chaoyue Wang, Long Lan, Wenjing Yang

开源人工智能社区的出现产生了强大的文本引导扩散模型的宝库,这些模型是在各种数据集上训练的。虽然很少有探索将这些模型组合起来,以结合它们的优势。在这项工作中,我们提出了一种简单而有效的方法,称为 Saliency-aware Noise Blending (SNB),该方法可以增强融合的文本引导扩散模型,以实现更可控的生成。

具体来说,我们通过实验发现,无分类器指导的响应与生成的图像的显著性高度相关。因此,我们建议通过以显著性感知的方式混合两个扩散模型的预测噪声,来信任其专业领域的不同模型。SNB无需培训,可以在DDIM采样过程中完成。此外,它可以自动对齐两个噪声空间的语义,而不需要额外的注释,如掩码。广泛的实验表明,SNB在各种应用中的有效性令人印象深刻。

 

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy