青源TALK第124期｜PhotoMaker，一种高效个性化定制人像照片的文生图模型

​

在研究界还是企业界主流的进行个性化人像定制的方法仍然为基于DreamBooth+LoRA的方式。这类方法有三个显著的缺点：1、定制速度很慢（往往大于10分钟）；2、GPU资源消耗大（基于SDXL模型的定制过程显存消耗大于20G）；3、需要用户提供的图像数量多（往往大于15张自拍照才有很好的效果）。

在这个工作中，我们提出了一种新的高效的个性化人像定制方法——PhotoMaker。通过我们的方法，在用户输入少量图像（1-10张）的前提下，只需要数秒就可以完成一次个性化人像定制。大大提升了定制过程的效率。与此同时，我们方法的身份信息保持度甚至优于之前方法。此外，我们的方法还可以扩展到之前方法很难甚至无法做到的应用场景中，比如将艺术作品或者老照片中的人物带回现实中、或是将不同人物的身份特点混合在一起创造出一个新的人物。

该工作开源三天Githubstar数已过3千次，已列入Github官方Trending榜第一位，PaperswithCode热度榜第一位，HuggingFace Spaces趋势榜第一位。项目主页在：https://photo-maker.github.io/ 感谢大家关注。

李震目前为南开大学程明明教授课题组四年级博士生。目前共发表CCF-A类顶会及顶刊9篇，其中第一作者5篇。谷歌学术引用共计1400余次，图像及视频的复原、编辑以及生成。

​Read More