只要千元级，人人可用百亿级多模态大模型！国产「AI模盒」秒级训练推理

  新智元报道  

编辑：编辑部

【新智元导读】从今天起，千元级就能解锁专属大模型了！这款搭载首颗纯国产14nm Chiplet大模型推理芯片的「深目」AI模盒，可以轻松实现百亿级参数多模态大模型的推理+微调。各种碎片化长尾算法，直接秒级生成！

就在昨天，大模型落地的最后一公里，被打通了！这款重磅发布的训推一体盒子——「深目」AI模盒，不仅搭载了国产自研大模型推理芯片DeepEdge10，以及多模态大模型「云天天书」，还具备边缘AI在线学习能力。更值得一提的是，它的售价只有千元级，轻到单手就能托起。可以说，大参数、大算力、大参数，和十年团队的核心技术，全被装在了这个小小的边缘计算设备之中。而有了这个AI模盒，每个企业都能同时拥有专属于自己的大模型和训练设备，并基于此轻松地实现：

– 覆盖场景超90%

– 算法精度超90%

– 使用成本降低90%那么问题来了，性价比如此之高的「盒子」，是如何破解大模型最后一公里难题的呢？

千元级解锁专属大模型，加量不加价

ChatGPT、Sora让全世界科技企业都变了天。最近来自a16z企业人工智能报告指出，2024年企业在大模型上的平均预算，要增加2-5倍。然而，专属大模型这条路，却不是人人都能走的。首先，需要企业提供大算力、大数据。目前，训一次大模型，成本至少千万元，而主流的训推一体机，价格普遍在百万元。如此高昂的成本，是绝大多数企业都无法承受的。其次，通用大模型也还需要经过专有数据的深度微调，才能适配实际中的碎片化、长尾场景。这样算下来，要拥有专属大模型，企业的花费至少是在「亿级」。能否打造一款能够在边缘设备中，让大模型解决长尾场景难题呢？云天励飞给出的答案，就是「深目」这个边缘训推一体AI模盒。

红色飞跃线代表着云天励飞二次创业第一款具有划时代意义的产品别看小瞧这款「巴掌大」的小盒子，它可是实现了三个90%——90%场景全覆盖，90%算法精度、使用成本降低90%。最重要的是，「深目」AI模盒的小小身材，不仅「装下」了大模型，还得到了最强推理芯片加持。首先大模型的能力，是来源于多次霸榜C-Eval、CMMLU等权威测试的，云天励飞自研多模态大模型「云天天书」。它不仅是国内为数不多通过网信办备案的可商用大模型，而且自2023年年初正式发布1.0版本以来，已经经过3次迭代，预计还将在今年6月发布全新4.0版本。大模型是有了，云天励飞如何将其装进AI模盒中？研究团队对大模型进行了优化，包括对多模态大模型的分层结耦、量化，让其能够高效运行在一个边缘算力设备上。甚至，他们在模型架构上做了诸多创新，帮助多模态大模型完成推理，以及微调等一系列任务。其次，「深目」AI模盒的算力基础，来源于云天励飞推出的第一颗基于纯国产工艺、可承载百亿级多模态大模型边缘推理计算的芯片——DeepEdge10。具体来说，基于14nm成熟工艺节点的DeepEdge10，采用了自主可控的SoC和国产RISC-V核心，算力在INT8精度下可达48TOPS。而且，在Chiplet架构的加持下，DeepEdge10更是实现了四颗Die的封装。最重要的是，这颗边缘芯片不仅能实现百亿级大模型的高效推理，还能够做微调训练。综上，经过一年多的时间打磨，云天励飞团队分别从大模型和处理器两个维度，进行了联合优化设计。通过算法和芯片一体化设计，在用更小的内存、更便宜的INT8和FP16替代掉传统、高昂的服务器设计的同时，维持了模型的尺寸和性能。由此，才有了我们现在所看到的「深目」AI模盒——一个成本可接受，又能运行大模型的盒子。「深目」AI模盒正是云天励飞的算法演进和芯片演进技术，在十年后又一个全新交叉的产品，也是团队二次创业推出的第一款产品。云天励飞希望看到的是，深目2.0可以给AI行业带来全新的体验，让大模型唾手可得。如今，在海量业务场景需求，和高昂算法生产成本面前，我们正处于「技术找场景」和「场景反哺技术」转换的关键期，有人称之为冰山之下的「死亡之谷」。值此之际，「深目」AI模盒的诞生，可谓众望所归。

秒级生产长尾算法

那么，这个只卖千元级的AI模盒到底怎用？好不好用？发布会现场，云天励飞副总裁罗忆用实际场景演示了「深目」AI模盒是如何在数据少、无数据等极端情况下，快速完成算法训练。场景演示一：只需5张照片，算法精度即可提升10%以上在算法训练初始阶段，面对仅有少量样本，却又希望得到高精度算法的难题该怎么办？在传统模式下，对算法精度要求越高，就需要大量的样本。但问题在于，数据收集的难度非常大。如果能够在边缘侧，针对场景化的算法进行微调，所需数据就会减少，迭代周期就会变短，就会节省大量效率。也就是说，通过少量样本，即可实现场景的自适应。以城市治理中最常见的问题之一——店外经营举例。当用户需要训练识别算法时，可以利用云天励飞训练平台的基础数据集完成算法的初步训练。得益于多年的积累，目前云天励飞能够提供覆盖14 个大类、100+个小类、千余种算法，可直接调用的算法。与此同时，云天励飞在城市治理深耕多年，也拥有该领域的丰富数据积累。完成初步训练后，用户再将自己拍下5张场景示例图片上传，在平台上完成简单标注，即可将初步的算法迭代升级。通过测试，迭代后的算法精度从过去的76%，直接飙升至95%。场景演示二：零数据样本，用AIGC数据训AI那要是没有数据怎么办？当面对自然灾害、安全隐患等这样的极端场景，训练数据几乎空白，难以通过模拟收集，但偏偏对对数据质量要求极高，容错率低。这就是低频事件面临的算法困境。就拿「加油站吸烟识别场景」为例，这类行为的数据极难获取。因为这类危险行为的发生，往往伴随着不可挽回的后果。现在，真正有效的策略便是，通过AIGC自动生成模拟数据。云天励飞训练平台能够利用大模型能力，以加油站为背景，生成在该环境抽烟行为的人物，并将数据用于算法训练中，填补训练数据的空白。目前，云天励飞已经通过AI生成数据训练和测试算法。通过自有的城市治理算法进行测试，不同算法在加入微调数据之后，精度发生了变化。可以看出，城管算法识别准确率随着样本数量增加，精度也大大提升。同时交付场景比例扩大。另外，还有非常重要的一点是，使用AI合成数据来训练算法，不仅能够填补数据空白，还能够规避隐私安全等问题。显然，AI自动生成数据逐渐成为大模型时代下，训练新算法和提升算法精度的一条重要路径。场景演示三：识别对象标准不统一，大模型泛化能力解决问题还有一种场景是遇到对象不统一，如何去解决算法训练难题？举个栗子，大型购物中心一般没有统一的结算中心，因此难以掌握逛街顾客是否消费，也难以评估营销活动对实际消费转化的效果。而顾客是否提购物袋，是大型商场判断顾客是否消费的重要标准之一。但是，各种品牌购物袋的大小、颜色、款式均不统一，而且难以与顾客的背包区分，导致算法难以精准识别。面对这样的场景，很难仅用一个算法去解决。但是基于云天励飞训练平台，可以借助大模型的「泛化」能力，实现「千店千袋」的识别。简单来说，首先需要调用「拎手提袋识别」的算法，对所有手提袋进行识别。然后，再基于识别结果，进行特定手提袋的识别训练，最终得到特定手提袋的识别算法，就可以实现对各种类型手提袋精准识别。

十年深耕，只做物理世界「解码者」

作为国内领先的AI企业，成立于2014年的云天励飞，便一直秉持着将AI技术与物理世界相结合理念。这也是这家公司自成立之初，自研芯片的重要原因。因为芯片是AI物理世界的连接器，AI通过芯片赋能现实，与此同时，物理世界的数据又通过芯片反哺AI，推动AI进步发展。就这样，通过算法芯片化，无形的技术和有形的世界构建出了一座通道。从此，AI不仅是虚拟世界的工具，而切实地转化为物理世界的生产力。ChatGPT引爆生成式AI革命后，百模大战，甚至是大模型开源战愈演愈烈，导致当下最不缺的就是LLM。显然，现在的重点不仅是卷参数，而更重要的是大模型的应用落地如何破局？陈宁博士表示，「AI商业化发展有三个阶段：AI方案化、AI运营化、AI产品化」。在第一阶段，当然就在项目中满足不同垂直领域客户的需求。如今，云天励飞已经在公安、城市治理、智慧交通、人居生活等领域打造了多个标杆项目，还在低空经济、智慧教育等领域持续探索中。在深圳、成都、青岛，都已打造了城市级的样板工程。正是因为有大量行业的落地经验，云天励飞已经形成了数据运营、新能源运营平台，走向了AI运营化。大模型的火爆，预示着AI将快速进入标准化产品的时代。因此，云天励飞还逐步走向了AI产品化。去年，云天励飞与华为异腾联合推出基于天舟大模型训推一体机，如今又推出面向边缘训推场景的「深目」AI模盒。此外，云天励飞还通过资本纽带，进军智能穿戴市场，形成日益完善的大模型产品体系。而在这三个阶段中，云天励飞始终践行的，就是做物理世界的「解码者」。真实场景演示具体来说，云天大模型基于真实场景算法，可以应用到各类场景——交通拥堵识别和违章驾驶识别：城市CT巡检：海洋污染识别：产品视觉检测：燃气灶未关识别：老年人跌倒识别：夜间可疑人员识别：而且，只要使用简单的提示词，就能高效地秒级生产算法、解锁更多场景了。如今，针对各类场景应用，云天励飞已经有了千余种成熟算法。

比如最近大热的低空经济

「深目」背后的故事

其实，「深目」这个名字，10年前就已经存在了。2014年，云天励飞凭借对深度学习的深刻理解，就推出了一款基于CV小模型的AI产品「深目」，为「AI+公共安全」市场开启了新纪元。如今，进入大模型时代的云天励飞，在奇点时刻选择了二次创业。这次推出的AI边缘训推一体产品，依然选择了「深目」的名字。虽然名字未变，但「深目」已经从最初的AI方案化构想，变身为如今成熟的产品化现实。带着焕然一新的技术底座，「深目」将赋能更广阔的长尾场景，为云天励飞开启二次创业的征程。

One More Thing

最后来个小彩蛋，「云天天书」从今天起限时免费开放了，限额50名。想要免费体验的伙伴们，赶快扫码申请吧。参考资料：https://www.intellif.com/