青源TALK第124期|PhotoMaker,一种高效个性化定制人像照片的文生图模型

600次阅读
没有评论

在研究界还是企业界主流的进行个性化人像定制的方法仍然为基于DreamBooth+LoRA的方式。这类方法有三个显著的缺点:1、定制速度很慢(往往大于10分钟);2、GPU资源消耗大(基于SDXL模型的定制过程显存消耗大于20G);3、需要用户提供的图像数量多(往往大于15张自拍照才有很好的效果)。

在这个工作中,我们提出了一种新的高效的个性化人像定制方法——PhotoMaker。通过我们的方法,在用户输入少量图像(1-10张)的前提下,只需要数秒就可以完成一次个性化人像定制。大大提升了定制过程的效率。与此同时,我们方法的身份信息保持度甚至优于之前方法。此外,我们的方法还可以扩展到之前方法很难甚至无法做到的应用场景中,比如将艺术作品或者老照片中的人物带回现实中、或是将不同人物的身份特点混合在一起创造出一个新的人物。

该工作开源三天Githubstar数已过3千次,已列入Github官方Trending榜第一位,PaperswithCode热度榜第一位,HuggingFace Spaces趋势榜第一位。项目主页在:https://photo-maker.github.io/ 感谢大家关注。

青源TALK第124期|PhotoMaker,一种高效个性化定制人像照片的文生图模型

李震目前为南开大学程明明教授课题组四年级博士生。目前共发表CCF-A类顶会及顶刊9篇,其中第一作者5篇。谷歌学术引用共计1400余次,图像及视频的复原、编辑以及生成。

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy