这是决定胜负的一球。
0 秒出手,终场哨音破空而响,望着篮球滑向弧线的终点,突然他的身体在空中悬停,一个决定性的瞬间被无限拉长,分镜切过一张张面孔,所有人的情绪都在空气中凝固,渴望、焦灼都被定格……
这样的场景,不是出自动画《灌篮高手》,而是来自贵州大山里,一场乡村篮球赛的直播。
2023 年 6 月 10 日,贵州安顺小寨村,「快手村 BA」乡村篮球赛现场,用于国际顶级赛事的前沿直播技术「子弹时间」首次应用到了乡村体育赛事的直播中。
暂时无法在飞书文档外展示此内容
(插入视频 三分球)
所谓「子弹时间」(Bullet time)是一种使用在电影、电视广告或电脑游戏中的摄影技术模拟变速特效,可实现强化的慢镜头、时间静止等效果。
在村 BA 直播中,快手技术人员针对关键球,快速产出「子弹时间」特效场景,伴随黑科技,村 BA 登上热搜,相关视频播放量超过 4.2 亿次,贵州山村里的篮球文化也被更多人看见。
生成一条村 BA「子弹时间」只要 10 秒
「子弹时间」技术最初被人知晓,要归功于电影《黑客帝国》:当子弹雨点般射向主人公尼奥时,他以不可思议的速度后仰,时间好像瞬间凝固,镜头围绕子弹旋转,观众甚至可以清晰地看到子弹划过的空气尾流。
此后,在大投资电影、3A 游戏、顶级体育赛事中,我们都能见到类似的应用。北京冬奥会在冰壶和速滑赛事中也应用了这一特效,通过云上转播可自动合成多角度的回放视频,并向全球转播方分发。
由于子弹时间生产流程的复杂性和所需计算数据量的庞大,之前行业的普遍生产时效性都在分钟级,且都不是基于 3D 重建来生产的。
而本次快手在村 BA 所使用的「子弹时间」技术,较此前顶级赛事中的更为先进:平均一场村 BA 比赛直播,就有接近 30 条子弹时间特效,包含 125 个 3D 虚拟运镜视点,基本覆盖了所有的精彩进球。
此前,即使是应用行业内领先的 Intel True View 技术,3D 重建都需要数分钟。这就意味着,子弹时间回放只能应用于节间或者中场休息。
这得益于快手自研的 3D 重建、虚拟运镜和渲染技术,只要 10 秒,就可以完成整个重建和渲染过程,大大增加了子弹时间特效的应用频率。
借助 3D 重建技术,村 BA 直播中呈现了精彩的攻防回合。30 部高速摄像机阵列部署,经过高精度 3D 重建,360 度无死角定格超燃瞬间,无论是 45 度后仰起跳命中,还是中场突破,赛场中任意位置的精彩细节都能被灵活捕捉。
暂时无法在飞书文档外展示此内容
(插入视频 灌篮)
其次是可变焦点 3D 虚拟运镜。高精度三维重建,提供了多视角下的空间信息,可支持后期灵活组织镜头、自定义拍摄轨迹。通过 3D 曲线变速运镜,视觉冲击力得以进一步增强,实现了丝滑流畅的「子弹时间」效果。
最后是先进的渲染技术。快手自研的六自由度压缩算法与三维渲染引擎,通过三维重建与视点渲染,可还原 4K 及以上的高清渲染画质。
「黑科技」进村
在实验场景,变量可控、效果可预期,技术人员只需集中力量攻克技术问题。而真实场景复杂、多变,额外变量层出不穷,往往会面对各种意外挑战。
大型赛事场馆的直播即使反复彩排,也不能确保万全无虞。而这一次,在西南大山里的贵州小寨村,露天篮球场现场,快手只有三天时间。
摆在他们面前的,首先是网络和电力紧缺的问题。现场的 5G 和 Wifi 信号时断时续,影响各类数据的实时通信,而体育赛事的转播又有很强的时效性要求。初期进场调试,由于供电功率不足,现场服务器的运行也不稳定。
「无论如何,先跑起来再说。」快手技术人员先是协调了发电车,解决了基础的供电稳定性问题。同时,通过技术上的极致优化,将一条村 BA「子弹时间」回放视频的生产时间压缩到了 10 秒,有效保障了时效性和观赏性。
然后是场地条件,受制于空间,相机设备只能直线排布。按照此前的技术方案,若想呈现出精彩的「子弹时间」,设备需要环绕一圈。
面对客观环境的严峻挑战,快手有备而来。技术人员通过自研可变焦点 3D 虚拟运镜技术,避免了直线型搭建在呈现效果上的单调性,成功打造了多焦点 3D 虚拟运镜「子弹时间」,比固定焦点的普通子弹时间有了重大升级。
最后是户外直播的不可控性。除了室外的高温、突如其来的降雨,还有长时间比赛带来的光线变化:6 点 30 分,太阳还很亮;8 点左右天就全黑了。这些都对技术本身的稳定性和适应性提出了很高要求。
快手的技术方案经受住了考验,阳光直晒和高温下都能稳定运行。即使因下雨中断,方案也可以敏捷地重新部署,无需再经过长时间的精细化调试,就能再度投入使用。在太阳光和场地灯光的差异化照明情况下,算法模型都能够完成高精度的建模和渲染,连续不断地支持比赛的正常转播。
即使比赛期间相机前挤满了观众,甚至无意触碰到相机,导致相机位置发生改变,算法模型也能适应相机姿态在一定范围内的变化,继续生产高精度的 3D 模型。
多面的六自由度技术
在令人惊奇的子弹时间背后,是来自快手 StreamLake 六自由度技术(6DoF)的全面支撑。
正如它的名字所称,这项创新技术,足够「6」,也足够「自由」。六自由度通过多摄像头同步采集、3D 重建、压缩传输和实时渲染技术,可以实现子弹时间、虚拟运镜、自由视角交互等效果,并支持 3D 空间剪辑创作,为用户带来沉浸式体验。
体育赛场之外,六自由度技术也在更多场景中给用户带来新奇体验。比如,在快手电商场景,目前该技术在服装的短视频拍摄和制作中已得到应用,实现了基于全视角虚拟运镜的服装带货短视频体验,用户们在手机上可以全方位交互式的观看服装多角度的细节。仿佛在 xy 轴之外,从屏幕里又延伸出一条打破空间的 z 轴。
技术创新源于持续探索,快手音视频技术团队数年来积累了丰富的工程、算法技术。在直播活动上,团队成功支持了 2021 年春晚、东京奥运等大型活动。面对来自不同业务场景的诉求,音视频技术团队充分发挥算法的灵活性和延展性,根据项目「定制化」方案,融入最新前沿科技,致力于以用户需求为导向,提升用户体验。
技术普惠的初心
一直以来,快手希望通过普惠的流量分发策略,给普通用户更多的曝光机会,这也滋养了快手平台内容的多样性。
如今火出圈的村 BA,正是通过快手等短视频平台被更多大山之外的人们看见。小寨村的篮球赛向来热闹,但在过去,山村之外却无人知晓。后来,村民随手拍下来发到快手上,村 BA 开始火爆全网,并得到了官方扶植。
同时,普惠理念也刻在快手技术创新的基因里。
不久前,子弹时间的镜头对准的,还只有顶尖赛事的体育明星。而现在,身在大山深处的运动爱好者,也能站上焦点。他们惊人的爆发力、精彩的扣篮瞬间、竞技体育精神,以及对篮球的热爱,都凝固在「子弹时间」的特效里,冲出了十里八乡,可以被全球观众反复欣赏。
和「子弹时间」一样,快手多年来积累的深厚技术也在帮助用户越过高墙。2022 年 8 月,快手正式发布技术 toB 品牌 StreamLake,提供一站式音视频+AI 解决方案,助力行业视频化和智能化升级。让视频的生产和创作变得更「轻盈」,让前沿技术融入日常生活,也正是快手技术普惠的初心。