首个登上央视春晚的 AI 视频 · 制作复盘

项目本身的需求是 将一段真人双人舞用 AI 的风格转绘成陶瓷的舞蹈 ，基于此需求，我们在项目开始时，对工作流进行了如下设计：

• 搭载在 ComfyUI 上，工作流高度自定义、省显存。
• 使用 ControlNet Lineart + OpenPose 模型，参考拍摄视频的线条及骨骼，生成新的 AI 动画。
• 使用 AnimateDiff 达到稳定不抖动的 AI 动画效果。
• 使用 LCM 提高生成速度。

由于跑高清的长视频对算力有较高的要求，英伟达的何展老师借给了我们一块 48GB 显存的显卡，加上我们自己的 4090，在整个项目中起到了非常关键的作用。但即使如此，我们依然遇到了不少挑战。
挑战一：双人舞中角色稳定性问题双人舞之所以会难做，是因为 AI 会将两个角色之间的特征进行混淆，所以经常会出现性别交换等问题。为了解决这个问题，我们尝试将单人先 roto 出来进行转绘，再进行双人合成。
但这个工作模式的问题很大，一是大量抠像需要工期太长；二是视频速度一旦上来，动态模糊后会带来大量抠像困难；三是合成后尤其肢体衔接处会不自然。

我们最后还是回归双人直接转绘的方案，但是接入了 ControlNet tile 模型，让其参考原视频的角色细节特征，从而固定住角色特征。

挑战二：瓷器材质的实现在项目刚开始时，我们进行了大量的材质探索。在 SDXL 和 Civitai 开源模型和 lora 的加持下，这并不算什么难题。

项目组很快就敲定了白瓷风格，于是我们继续在 SDXL 中推进静帧测试，并迅速达到了大家都很满意的效果。

但当我们把静帧参数套用到视频工作流时，发现生成的视频质量是这样的：我们发现，SDXL 结合上 AnimateDiff 后，画面会因为过于追求稳定而折损大量细节，且在当时（去年12月份）几乎无解。我们只能寄希望于生态更加完整的 SD1.5 ，但这也意味着我们失去了 SDXL 强大的生成能力……同样的 Prompt 在 SD1.5 里的效果是这样的：本来以为得训练 SD1.5 的瓷器 LoRA，但峰回路转地，我们发现这其实是一个 “关键词” 就可以解决的问题。
然后我们开始在 SD1.5 上逐渐复刻出我们想要的瓷器材质。

除了关键词以外，我们还发现了一个 prompting “神器”：IPAdapter，用一张参考图来引导 AI 生成指定材质效果。 

有了新的工作流，我们顺利生成了第一版“瓷娃娃”质感的视频：

以及青花瓷和翡翠质感的版本：

每一组动态测试，在 4090 显卡下的渲染时间一般在 10 分钟以内。

挑战三：换装稳定性测试节目的设计是双人舞三个阶段变装，包括结婚、婚后、老年三个阶段。利用 AI 来实现丝滑的变装是重要的需求。我们首先在 pr 里对齐了剪辑，在生成时通过 prompt travel 的方式（不同关键帧描述不同的内容）进行了实现。需要提到的经验是，我们发现 prompt travel 只对比较短的视频有用，当生成帧数大于 800 帧以后，AI 就会开始不遵循关键词。所以分段小批量的进行转绘是让画面更加稳定符合预期的重点。在攻克所有难题后，我们最终完成了这个作品，1200+ 帧左右在 Nvidia 4090 下一共渲染了 4-5 小时。

四、结语我们在整个项目的过程中成长了许多，熟悉了很多开源社区最新的技术，也探索了这些技术在具体项目中的可能性。同时也结识了很多开源社区的好朋友，特别感谢 Jerry Davos 毫无保留的工作流分享和技术指导！当然，最终能达成满意效果的原因，不仅有赖于开源社区无私的共享，也源于王圣哲、高贾雪两位舞者本身卓越的舞蹈技术和表现力；春晚编导及节目组的精心设计：春晚副总导演大治老师、节目视效导演申子、美娇老师、最后播出 AR 团队封毅老师、舞蹈指导谢长慧老师、数字栩生宋震老师；以及任素汐老师对《枕着她的光》这首曲目的出色演绎。《枕着她的光》是我们对于 AI 可能性的一个答卷，也是人与 AI 合作的一种可能，我们期待着与更多优秀的艺术家一起在 2024 年探索这种可能。感谢你阅读到这里，祝你新春愉快，阖家幸福。
—— 海辛 & 阿文
‍‍