垂直大模型竞争，能突破数据“卡点”吗？

一、企业涌入垂直大模型赛道

通用AI大模型像ChatGPT，能够处理各种领域和场景的自然语言，但由于需要巨大的计算资源和数据量，已经成为国内外大厂的重点项目。

这类企业往往有着强大的技术团队和资金支持，且有着自己的场景和流量优势。比如百度、阿里、腾讯、字节、华为等，在搜索、社交、电商、办公等领域都有着自己的通用AI大模型。

相较之下，创业公司、细分领域企业很难在这样的竞争中获得先发优势或者差异化优势。

而垂直AI大模型只关注某个特定的领域或者场景，它能够利用行业的数据和知识，提供更精准和高效的解决方案，更好地满足用户在某个领域或者场景下的需求和期待，如：医疗、金融、教育等。

同时，它可以利用一些开源或者闭源的通用AI大模型作为基础，然后在其上进行指令微调（instruction tuning），来适应自己的目标领域或者场景。

因此，它的参数规模比通用大模型低一个量级，如果让数据飞轮和模型训练能够很好结合，在某些特定领域甚至比通用大模型的效果更好、成本更低。

在这样的背景下，越来越多的企业加入了垂直大模型的赛道。

5月18日，深信服发布国内首个自研安全大模型，成为安全领域GPT技术应用首秀；

5月5日，学而思宣布正在进行自研数学大模型的研发，命名为MathGPT，面向全球数学爱好者和科研机构；

3月，达观数据公布正在开发曹植系统，专注于金融、政务、制造等垂直领域的大语言模型。

明确的商业化落地场景和更低的算力成本，为各类企业打开了进军垂直大模型的大门。

二、垂直大模型的考验

垂直大模型的优势在于不够大：算力不够大、算法难度低，但并不代表垂直大模型谁都能做。

众所周知，AI大模型三要素：算力、算法、数据，都是喂养AI的“饲料”。

先说算力。

大模型之所以“大”，就是因为参数众多和数据量庞大。AI大模型所需要的计算量，大致上相当于参数量与数据量的乘积。

过去5年，AI大模型的参数量几乎每年提升一个数量级，例如GPT-4参数量是GPT-3的16倍，达到1.6万亿个。

随着图像、音视频等多模态数据的引入，大模型的数据量也在飞速膨胀。这意味着想要玩转大模型，必须拥有大算力。

而一套垂直大模型的训练和推理成本，做个参考，在数字人垂类技术场景中，可以做到比Open AI同参数规模的模型低一个量级，像启元世界的战略总监王思捷就曾提到：先构建更小的垂类模型（比如百亿参数、十亿参数），让数据飞轮和模型训练能够很好结合，垂类模型在某些领域可能比Open AI的效果更好成本更低。

即便垂直大模型在算力要求上已远远低于通用大模型，但对算力基础设施的投入依然会阻挡部分小公司的入局。

再说算法。

在三要素中，算法的研发难度相对较低，每家公司都有自己实现大模型的路径算法，且有众多开源项目可作为参考，中国公司最容易缩短甚至抹平差距。

最后说数据。

高质量的数据是助力AI训练与调优的关键，足够多、足够丰富的数据，是AI大模型的根基。

OpenAI此前披露，为了AI像人类那样流畅交谈，研发人员给GPT-3.5提供多达45TB的文本语料，相当于472万套中国“四大名著”。这些语料的来源包括维基百科、网络文章、书籍期刊等，甚至还将代码开源平台Github纳入其中。

但是聚焦到细分行业，数据的获取就没那么容易了。

兴业证券公开表示，要训练专业的行业大模型，优质的行业数据、公共数据至关重要。

就国内数据市场而言，据发改委官方批露，我国政府数据资源占全国数据资源的比重超过3/4，但开放规模不足美国的10%，个人和企业可以利用的规模更是不及美国的7%。

而行业数据更是非常核心的私域数据，私域数据量越大，质量越高，就越有价值。

比如，一个医疗公司拥有大量医疗数据、病例数据，那么它就能开发出医疗垂直大模型类的产品。同理，建筑行业的项目数据、金融行业的用户画像数据、海运行业的船位数据等，都是赋能垂直大模型的关键。

但是这些私域数据都攥在企业自己手中，而且为了数据安全和合规，绝大部分机构是要本地化部署才会尝试大模型训练，很难想象企业会把自己的核心数据拿给别人去训练。

此外，如何合理地给数据打上分级标签、做好标注也非常重要。数据分级分类能够帮助产品提效，而高精度的标注数据能够进一步提升大模型的专业表现。

但现阶段垂直行业想要获取高精度标注数据的成本较高，而在公开数据库中，行业专业数据也较少，因此对垂直大模型的建构提出了很高的要求。

总体而言，想要做好垂直大模型，数据的重要性，远超过算力和算法。

数据，已成为企业突破垂直大模型的“卡点”。

三、手握行业数据领先一步

垂类大模型讲求应用与场景先行的逻辑，而在国内更是强调产业侧的价值。

一方面，在当前中国的智能化浪潮下，产业侧数字化革新本就有广阔的市场需求；另一方面，在toB生态下，基于垂直应用的实践也有利于形成数据飞轮与场景飞轮。

而这一切的前提，是推出垂类大模型的公司在该行业已建立技术壁垒与护城河，即“人无我有”的竞争优势。

如此看来，在垂直行业深耕多年的企业或将有更大的赢面。

这类企业在数据层面、大模型以及知识图谱方面都有较为深厚的积累，对于大模型的优化更具优势。同时，它们对于to B客户需求和落地场景有很深的理解，能够更好地保证垂直大模型产品的可信和可靠，满足企业级对于安全可控合规的需求。

目前，已有一些垂类大模型在金融、教育、医药、营销等场景中得到试炼。

例如，彭博社利用自身丰富的金融数据源，基于开源的GPT-3框架再训练，开发出了金融专属大模型BloombergGPT；

网易有道则面向教育场景，推出自研的类ChatGPT模型“子曰”；

在ChatGPT发布后仅几周，谷歌公布了一个专门用于回答医疗保健相关问题的大型医用语言模型Med-PaLM……

相信随着越来越多企业入局，垂直大模型在各个行业和细分领域中将大量涌现。而那些能将一个垂直领域做专、做透，用高质量的数据持续优化模型，跑通商业闭环，构建起产业生态的企业，最终将把价值链做到足够长。