3D模型+AIGC，会是移动影像的下一步棋吗？

vivo X90s 影像模组

进入2023年下半年，智能手机市场在影像上的军备竞赛有增无减。更大面积的传感器、光学防抖、全焦距的焦段覆盖，正在成为高端智能手机的标配，也有着逐渐普及的趋势。

然而智能手机毕竟是一种大众消费品，重量和体积都会制约影像配置的无限增长。而在消费者端，用户往往对于影像原理不甚了解。因此就需要厂商不断在软件、算法层面，去解决实际的问题。

7月底，vivo首次向外界展示了其位于重庆工厂的3D影像实验室，并宣布相关技术将会率先应用在下一代X系列旗舰手机上。

vivo 3D影像实验室内部

vivo 3D影像实验室，主要是由100余台单反相机，配合闪光灯、处理器、控制器和服务器所组成。通过采集大量的人体躯干、面部信息，最终实现对于智能手机人像拍摄的提高。

采集人体信息时，vivo 3D影像实验室会同时调动100多台单反相机，从不同的角度进行拍摄，生成100余张2D图片，随后通过局域网上传至存储服务器，再通过2D图片进行3D匹配，生成3D模型。

基于生成的3D模型，vivo可以实现对于算法的训练，提升人像模式下，模拟背景虚化的精确性。据vivo工作人员介绍，预计每年将会有上万组3D人像模型。

传统的智能手机人像虚化算法，往往是在2D层面，判断人的轮廓来实现虚化，不具备3D层面的深度信息，因此主体与背景之间往往会过渡的比较生硬，“抠”出来的背景也会缺少层次。

通过大量的3D模型进行预训练，vivo的算法可以变得更加智能，智能手机可以更好的判断人的纵深信息，使得虚化更具有渐进感也更加细腻。

vivo X90s样片

此外3D模型加入之后，智能手机的人像虚化算法应用范围可以进一步扩大。目前人像虚化算法由于缺乏深度方向的信息，只能拍摄全身像或是半身像，未来则可以近距离贴脸拍摄眼睛的特写虚化画面。

在3D模型之外，vivo有一套“重打光”的设备。由96个可编程的同步光源搭配vivo的工业相机。与拍照工作站以及服务器共同组成，可以模拟不同光照条件下的成像图片，为自研人像算法做数据支撑，促进3D重建和3D算法方面的开发和预研，提升手机上的算法效果。

例如在加入重打光技术后，vivo手机可以对前期拍摄到的“逆光黑脸”进行高精度补光，甚至是调整光线的冷暖色温。生成式人像编辑则能通过纹理重建与光照估计算法等技术，让用户基于自身喜好对光照、年龄、发型、表情等内容进行重新编辑。

vivo影像活动现场

基于人像3D重建感知能力，vivo还可以叠加AIGC算法，通过vivo手机即可拍摄出虚拟与实景结合更为自然的照片，实现“足不出户拍出四季人像大片”的人性化体验。

在此之外，3D影像的相关技术可以应用在如今火爆的3D虚拟人应用上。包括抖音上比较火的3D数字人直播、3D表情驱动、3D的虚拟场景编辑以及相应的一个动画制作。

此外还有基于3D影像衍生的3D换装应用，可以根据采集者的人体模型，在虚拟场景内实现足球游戏，目前在vivo手机和平板电脑上已经可以进行演示。

vivo 3D影像实验室于2022年下半年组建，全球共有7个实验室。预期2023年下半年到2024年将会采集几万组数据。这些高质量的数据未来将会与vivo全球的用户一起组建兼顾质量和数量的庞大数据库。据vivo工作人员介绍，相关技术落地，将会在vivo X系列的下一代产品上率先应用。

钛媒体App了解到，类似vivo这种通过大量采集数据，建立数据库以优化算法的实验室，在传统相机领域早已有之，但vivo应该是通过3D模型实现多重优化以及AIGC相关应用的第一家智能手机厂商。

某种意义上，自建影像实验室标志着vivo在影像领域的研究进入了深水区，而能够借助AI的东风，扩展智能手机影像的边界，则是vivo探索出来的一条创新之路，也许会开拓出智能手机影像的全新方向。（本文首发钛媒体App 作者/吴泓磊 编辑/钟毅）

更多精彩内容，关注钛媒体微信号（ID：taimeiti），或者下载钛媒体App

​Read More