生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色

97次阅读
没有评论

克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

从PC到手机,甚至是智能穿戴……这些端侧设备正与AI进行着一场“双向奔赴”。

一方面,端侧设备的性能提升,给AI提供了新的土壤;

另一方面,AI正在改变端侧设备的使用方式和体验。

除了设备对AI的原生支持之外,第三方的AI应用,特别是生成式AI应用,也开始在端侧生根发芽。

在这背后,无论是应用还是设备本身,都不可避免地涉及一个问题——算力。

而芯片又是算力的重要载体,因此在端侧AI生态中,芯片厂商扮演了不可或缺的角色,在竞争之中的表现也尤为积极。

近期,联发科举办了首届天玑开发者大会2024(MDDC 2024),从产品技术、市场、生态等多维度激发并引领了移动生态的积极性与活力。会上,联发科推出了全新的旗舰5G生成式AI移动芯片9300+;联合Counterpoint并携手多个生态伙伴共同发布《生成式AI手机产业白皮书》;分享了生成式AI端侧部署解决方案“天玑AI开发套件”;并启动“天玑AI先锋计划”,促进产业共创实现生态共赢。

算力,一切AI的基石

要研究AI的端侧化,首先要解答的一个问题是,有了表现遥遥领先的云端模型,还需要在端侧也部署AI?

首先,安全是其中最大的考量——无论是企业还是个人,显然都不希望自己的机密或隐私在云上到处流传。

而端侧模型则解决了这一担忧,所有数据都在本地处理,无需担心泄露问题。

其次,考虑性能因素,虽然云端模型表现更强,服务的用户数量也更多,但如果超出并发能力,就会出现延时排队的现象。

不仅是云端自身的吞吐量,网络的稳定性也会造成影响。

而本地模型只为单一用户服务,且无需联网,这一优势特性与云端AI有着明显的产品差异。

此外,端侧设备庞大的用户体量与黏着度,以及相对完整的应用生态,也说明了端侧部署AI的可行性,而手机则成为了部署端侧生成式AI的最佳载体。

生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色

解决了AI对端侧设备的需求问题,那么站在端侧设备的角度,又为什么需要AI功能呢?

在AI时代,用户对更智能、更个性化的服务当然会有更高的期待,现有的操作方式,会随着期待的升高显得越来越“不够智能”。

以手机为例,从按键到触屏可以说是操作方式的重大革新。

而在当前以APP为主的移动应用生态下,即使用触控代替了按键,也需要先选择好并点击具体的应用,才能实现自己的意图。

如果有了端侧AI,具备多模态信息的输入与输出能力,能够直接根据用户意图调用功能,将是手机操控方式的又一次飞跃。

生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色

这样的功能,无疑有利于厂商提升旗舰机型实力,实现差异化竞争。

相互依存,各取所需,结果自然是AI和端侧设备的双向奔赴。

当然只谈需求也是不够的,之所以AI能够端侧化,算力是不可或缺的。

实际上,哪怕是云端,算力的地位同样举足轻重。

此次天玑开发者大会上全新发布的天玑9300+旗舰5G生成式AI移动芯片,就包含了先进的APU 790,提供了强劲的端侧AI算力。

生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色

当然,要讨论算力,不能只看硬件所能提供的FLOPS(每秒浮点运算次数),还要看设备上运行的应用能不能将其充分调度、充分利用。

为此,联发科不仅推出了全新的天玑生成式AI移动芯片,还提供了天玑AI开发套件,包括快速高效的 GenAI 最佳实践、覆盖全球主流大模型的 GenAI Model Hub、高效提升性能的 GenAI 优化技术和 Neuron Studio 一站式视觉化开发环境等四大模块。

该套件将为广大开发者提供“快、全、强、易”的专业开发体验,赋能终端生成式AI应用开发全流程。

生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色

应用,AI与用户的接口

除了算力,生态协作在端侧AI领域也是绕不开的话题,其中应用开发者是不可缺少的一环。

无论芯片还是设备,无论纸面上或实验室中的性能有多强,最终被用户感知的,依旧是运行应用时的能力。

所以,应用作为整个端侧生态中最接近用户的一环,其实际效果往往比参数量或其他技术指标,对普通消费者的选择影响更为直观。

意识到这一点之后,在同行还在参数量上卷的不可开交的时候,联发科已经在布局全场景AI应用了。

在天玑开发者大会上,联发科技携手阿里云、百川智能、传音、零一万物、OPPO、荣耀、vivo、小米多家生态伙伴共同启动“天玑AI先锋计划”,为全球开发者提供资源、技术支持和商业机会,帮助开发者在搭载天玑芯片的终端设备上打造创新的生成式AI体验,以加速推动AI应用落地。

生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色

目前,联发科已经携手阿里云通义千问、Cocos、Honor of Kings、虎牙直播、酷狗音乐、美图、全民K歌、RWKV、Soul、腾讯AI Lab、小红书等数十家生态伙伴完成生成式AI应用落地体验,让用户在使用过程中直接感知到AI的存在。

以手机为例,在生成式AI应用中,被讨论最多的就是大模型,在天玑AI应用生态中,就有阿里云通义千问打造的端侧大模型应用。

离线状态下,利用天玑芯片的本地算力,基于通义千问模型的智能体也能像真人一样和用户对话,同时还支持根据用户需求唤起应用,比如通过对话启动地图导航。

生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色

当然除了语音,生成图片等视觉类内容,同样是生成式AI的重要能力,这样的能力在先锋应用中同样有所体现。

比如我们再熟悉不过的抖音,在搭载天玑芯片的设备上,就可以通过抖音运行先进的文生图模型SDXL-Lightning,仅需两秒就能绘制一张1024*1024的AI图片。

同时,天玑芯片中的APU单元还为抖音提供了AI实时特效功能,在直播中利用端侧算力就能流畅地实现人脸特效的添加。

生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色

尽管在热度上略低于文本和视觉信息,但声音也是不可否认的重要模态,作为一个完备的应用体系,相关产品同样不能落下。

总想当歌唱家一展歌喉,现实却是别人唱歌要钱你要命,没关系,全民K歌就把SVC模型放到了端侧,只需录制30秒的样本,模型就会用你的声音一键演唱任何歌曲,让你分分钟变身歌王。

生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色

此外还有小红书的头像生成工具InstantID、虎牙的实时直播换脸、RMKV的音乐创作……一系列效果震撼的AI应用,都被从云端搬到了端侧,搬进了联发科天玑的AI应用生态。

生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色

以上这些案例,用户在与之交互的过程中,能直接感受到AI的存在,但其实在一些“看不见的地方”,同样也有AI在为用户默默付出。

当然,手机也并非是端侧设备的全部,还有智能穿戴、智能家居、智能座舱等多种终端。

联发科此次推出的天玑AI开发套件,就实现了全场景的终端覆盖,将生成式AI带到了各式各样的端侧设备当中。

生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色

比如在汽车上,只需要一张草图,再加上简单的提示词指令,就能利用车载终端的AI能力实现绘画创作,让AI的运行载体不再局限于电脑和手机。

生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色

在芯片厂商、设备厂商和应用开发者组成的端侧AI生态当中,联发科作为芯片厂商,架起了设备和应用之间的一座桥梁,扮演着端侧AI应用落地的最大推动者。

联发科,端侧AI领先布局人

推动整个端侧AI生态的发展,是一项宏大的议题,那么为什么联发科能够担此重任?

联发科技无线通信事业部副总经理李彦辑讲述了背后的故事。

李彦辑介绍,在近十年前,也就是2015、2016年前后, 联发科就已经开始了AI芯片的研发。

当时AI在互联网上成为了一个热门话题,铺天的热度让联发科开始思考,能不能让端侧设备搭上AI的洪流。

该芯片的真正诞生则是在2018年,不过主要用途和拍照相关,而不是提供生成式AI的能力。

不过从开始思考到首款AI芯片落地这段时间当中,AI领域内有一篇重量级论文出现了——

这篇论文就是谷歌发布的Attention is all you need,也就是它宣告了Transformer的诞生。

后来的事情想必大家已经很清楚了,Transformer取代了RNN,成为了NLP新的主流技术路线,直到OpenAI发布ChatGPT,宣告了进入生成式AI的时代。

生成式AI终端和应用 “双向奔赴”,联发科扮演关键角色

回到联发科这一边,在Transformer出现后,团队立刻注意到,生成式模型可能带来重大变革,应该着手开始探索新的算子了。

尽管当时还没有看到明确的应用,但联发科还是基于对生成式AI未来的笃信,开始了早期布局。

我们不禁要问,敢在生成式AI刚刚起步的时候就投入研究,联发科的底气是什么?

一方面,是对未来技术的判断和决心,坚信Transformer会成为AI的分水岭;

另一方面,则是多年的技术积淀,给联发科探索生成式AI算子带来的便利条件。

联发科技无线通信事业部技术规划总监李俊男这样介绍:

Transformer一定不是突然出现的,背后一定有技术积累,联发科也是如此。

在之前以影像为主要应用的AI研发中,涉及到了ViT网络,其中就有很多算子,都是可以积累到生成式AI当中的。

对于技术积累,李俊男表示,持续投资技术,是科技公司必须做的事情。

当然,布局生成式AI的过程,一定不是一帆风顺的,比如解释为什么要在端侧部署AI,就成了一个棘手的问题。

不过,凭借着深厚的技术积淀和对行业的敏锐观察,最终联发科给出了充分的总结,也获得了认可。

关于天玑AI的下一步计划,李彦辑介绍,是实现端侧化运行的多模态模型,以及端侧的专家系统。

不难看到,联发科正凭借其领先的技术实力和生态布局优势,将引领端侧芯片继续向AI方向深入发展,并不断推动端侧AI生态建设的优化与升级。

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy