品玩对话王小川:“年底做出中国最好的大模型来”

759次阅读
没有评论

品玩对话王小川:“年底做出中国最好的大模型来”

对话:骆轶航  郭海惟

文:郭海惟

整理:李晓贤 吕可

4月10日,王小川终于官宣了他的AI大模型公司“百川智能”。

在过去两个月巨浪般的行业热潮下,他选择了战术性的低调。王小川对品玩表示,“百川智能”目前早前已经获得了5000万美元启动资金,已初步搭建起包括搜狗、百度等技术骨干在内的团队。

而早在一个月前,百川智能在没正式入职、完全远程协作的情形下,已经开始了500亿级大模型的训练,并且“进展很顺利”,“清华老师都很惊讶”。

在对话中,你可以感受到通用人工智能AGI)事业带给这位45岁创业者的能量。

这种能量一方面来自AGI本身的“性感”,它足够宏大、切中人类的历史文明进程;另一方面来自资源的汇聚,不仅顶级高校、顶级资本都在向他抛来橄榄枝,过去搜狗时代吸引不来的人才,如今都在向他聚拢。他对品玩坦言,自己“没有享受过这种待遇”。

王小川确实也值得这种关注。他是清华大学学霸、搜狗的灵魂人物、那一代AI创业潮的领军者。在IT之外,还是狂热的生物学爱好者,习惯用生物学的视角审视世界——这与人们对AGI的讨论不谋而合。

在采访中,他对于AGI商业有属于自己独特的理解,又对于看不惯的事情保持了一种礼貌的直率:

他反对“拼盘式”创业,认为公司、团队、技术都是一个“生命体”,因此都需要成长的过程;他反对大力出奇迹,坚持认为“人”才是项目中的核心,一切产品官都应该建立在人本思考之上。

他反对按照粗暴的归类来对创业类AGI企业说“风凉话”,认为中国还会有自己OpenAI

他反对以极端的眼光看待中国AGI产业发展,认为很多人把中国AGI看得“要么太low、要么太伟大”。

所以他也坚持了过去的那份“较真”。

比如他选择了非常克制的第一轮融资;坚持把场景和大模型训练放在同等重要的位置上;他认为AGI不是过去简单的工业革命再现,而是文艺复兴。他也不认为中国的大语言模型从一开始就必须得追求ChatGPT的最高水准,“最重要的还是能够提供有价值的服务,炼不出长生不老丸,我就先炼延年益寿丸,不好么?”

百川智能目前开始进行500亿大模型训练。王小川相信:“今年年底做到国内最好的”。

以下是品玩与王小川的访谈实录:

“年底做出对标GPT-3.5的大模型”

品玩:公司名字定下来了吗?不叫五季智能对吧?

王小川:叫“百川智能”,寓意“海纳百川,汇聚知识”。因为大模型其实就是以语言为核心,把天下知识都汇聚并进行学习的一个过程。

品玩:而且把自己的名字也押进去了。

王小川:是的。启动资金目前是朋友们在支持,一些老团队也回来了。你可以理解“百川”既是跟世界连接,也是跟我之间的团队和资源完整地连接在一起。

品玩:融资的进展可以透露一下吗?

王小川:其实不算融资,第一期也就是5000万美元。首先还是周围的亲友与个人的支持,包括我自己都有投进来,面向机构的融资会再近期启动。

品玩:但其实很多投资者都想投你们。

王小川:至少我们能够训练出一个好的千亿模型,钱是够的。至少到今年年底是够用的。如果要做AGI,确实还需要很多钱。(具体的需要多少钱,建议先不披露,可能容易打脸)

品玩:现在OpenAI应该是融了100亿美金,但实际大规模花钱也是GPT-3出来之后,也是2021年之后的事情。

王小川:钱很关键,但更关键的还是里面的人具体的操作。企业是一个生物体,无论是技术、团队、业务,都需要有一个生长的过程。如果强行把人和钱像拼乐高一样攒起来,就容易遇到困难。

品玩:那你团队现在组建得如何了?

王小川:有搜狗原来的班底,也有百度等多家大厂的领军人物加入,还有其他创业公司核心人员的加入。到四月底的话团队会有50人了。其实这是个很好的互补,搜狗原团队在2021年就完成过百亿参数模型国内第一,加上其他领军人物带队融入,在一起就是一个磨合完成且有多元经验的团队。

品玩:搜狗的班底能占多少?

王小川:整体占比不超过一半,主要是快速把底子搭起来。随着人越来越多,以后占比会越来越低。我们团队里有很多“少帅”,既有经验、又年轻的人。其实我个人是没有享受过这种待遇的。你要知道搜狗最后几年招人很难的,优秀的人才愿意过来跟你聊天,但没法跟你共事。其实就是你当时做的事情不够性感了。

品玩:说说性感的,大模型这一块训练的怎么样了?

王小川:我们已经开始训练500亿参数的模型了,进展很顺利。跟清华的老师们去聊的时候,他们很惊讶我们的进展。年底前我们会发布对标GPT-3.5的大模型,有信心今年年底做到国内最好。

“有些人的观点,从来没对过”

品玩:现在有一种观点认为,GPT3.5以后大模型不再适合创业公司来做了,创业公司跟着后面重新做一个大模型意义不大。因为拼的还是大力出奇迹,集中力量办大事。

王小川:行业中有些人对未来的观点从来就没有判断对过,一直活在平行宇宙里。

大模型就是需要时间长一点,认真一点,而钱也不是唯一重要的。

我们看到清华学生还是很优秀的,而且他们团队结构比较简单,好多大公司反而被自己复杂的人事困住了。

品玩:所以一些即便有技术积累的大公司,其实也有它固有的问题。

王小川:你首先需要纯粹简单专注的组织结构,从愿景开始能把团队不断升级,就像小孩子逐渐长大的过程。第一天就拉着小孩在这里面做明星是不现实的。有些公司虽然有大模型这个底子,但没碰好就练歪了,上战场更难受。

品玩:但我们看到最近新发大模型产品的公司,中美两地最先跟进OpenAI很多都有搜索背景,比如谷歌、百度、360等。你本人也是一手把搜狗做起来的人。是不是搜索公司,确实有一些先天的技术优势呢?

王小川:因为今天首先是语言模型,搜索公司做语言确实有先天优势。而且搜索公司的经验是比较完整的,从数据清洗、转化成模型,到最后上线提供服务、甚至在数据安全这一块的经验,其实都干过。公司的组织结构和评价体系,也都有相关性。所以搜索公司起步的时候的确是有优势的。

先“延年益寿丹”,再“长生不老丸”

品玩:大家说“大模型是炼丹,prompt 是写咒”。这对很多AI从业者来说会有幻灭感,因为你不知道哪一个环节就会带来质变。那你作为一个 AI 的科学家,你该如何评估你的进程和成果呢?

王小川:我们心里还是有底的,因为这个东西是有价值的。所以即便没有像OpenAI那样在短时间内激发起那么多智能,我们也能先让它变成国内最好的企业,给人足够的服务。

它可以服务很多已经存在的场景:比如搜索里面接入,会比传统的搜索引擎好用得多;你跟这个医疗数据接入,会让医生更靠谱。

那个智能的终极,我们永远都会去追求。但是我们跟 ChatGPT 不一样的地方是,我们需要追求落地的场景是不是用得着。你炼出一个“长生不老丸”,我炼出一个“延年益寿丹”行么?

品玩:我们现在做的还是通用大模型,像OpenAI其实很少提场景的问题、提供的接口也比较少。所以“长生不老丸”与“延年益寿丹”,这两个目标是否存在矛盾?

王小川:过去有句话“做中国的OpenAI,不要只做中国的ChatGPT”,很多人觉得高级,但是这话错了。

比尔·盖茨把ChatGPT叫做“像发明Internet一样伟大”,黄仁勋叫做“iPhone时刻”。不过这两句话讲的不是一个意思。

“像Internet一样伟大”是说大模型的意义,这个大模型“能读、能写、能理解”,能够产生很多想象力;而黄仁勋讲的“iPhone时刻”,是指ChatGPT带来的这种人机交互、人机关系发生变化。后者更多落脚到人的变化,而非技术。

ChatGPT 其实是代表了新的人机界面和入口。今天看起来好像微软把它包住了,只是作为微软的一个工具,就像Google刚出来的时候只是雅虎的一个搜索框。但未来,ChatGPT反而是有更大的发展空间在里面,所以在我心中以后Office可能都是不需要的东西。

品玩:我也认同Office以后就不需要,但搜索引擎呢?

王小川:

我觉得一个可以叫GC(Generate Content),一个叫IR(Information Retrieval)。这两个模型一个像是相对论,一个像量子力学。IR的代表是Google,很多细节都知道,但并不抽象。GC的代表就是ChatGPT,压缩成一个模型、把细节全丢了,也不实时更新,把所有知识都融在了一起。

在中国我觉得它是有机会的,把检索模型和搜索模型装进Chat里,形成一个带有搜索功能的底座。对我们而言,我们第一天的动力就是要把这个装进去。但我们不是要做新的搜索引擎,而是把搜索能力嵌入到Chat里面去。

“伟大和平庸都不是我们”

品玩:有些人认为,OpenAI成功原因之一,是它在企业和学校之外创造了第三种类型的组织形式(OpenAI Nonprofit)。你是经历过细分AI领域创业潮的行业领军者,现在也在做大模型创业、对接了很多学校的资源。如何看待新业务对组织结构上带来的潜在变化?

王小川:我认为观察公司内核是第二位的,因为你想从外面打开看里面肯定是看不完整的,最好是从外面看它对外提供了什么样的东西。比如OpenAI最早是提供AGI认知能力、一种“知识”,像大学里的东西;但当它一旦变成公司,它就变成提供产品和服务。

所以大模型确实既需要研究能力、也需要产品能力,而工程能力是夹在中间的。它只有先发现“知识”,再转成应用。在发现“知识”这件事情,OpenAI已经突破了天花板。所以我们研究的压力相对小,更多要学习应用的事情。

其次,中美不太一样的地方是,我们有很多优秀的人才其实是固定在高校里的。所以企业需要与它们有很好的合作。所以你看到清华大学很多资深的、甚至院士级的老师,都会对我们有很多的支持,这也会降低我们研究的压力。

品玩:我们公布模型等技术成果的时候,会同时考虑发论文的事情吗?

王小川:可能会和高校一块发吧。

但我认为这不是这场战役的关键。

今天当然自己是需要研究的,但很多也会放到学校里。依托高校是需要的,我们很多人才储备也是从高校中过来。

品玩:大家讨论的中美之间的大模型竞争的时候,都会不约而同讨论语料库的问题。很多人觉得英文的语料库天然很好,而中文就会相对受限一点。你怎么看待这个问题?

王小川:目前我们中英文的都会用,同样也有很多不错的英文语料来源。这就跟教小孩一样的,最终都是靠开发者利用很多机制去调语料的来源或者比例。

就好比爸爸讲英文,妈妈讲中文,但里面的东西是一致的。不会因为他用中文学的医学知识,换成英文就不会了。他在知识层面是一样的。

品玩:那算力的问题呢?

王小川:对于我们来说,都不会有太大问题。

也像刚才说的,我们不是第一天就要对标“长生不老丸”,而是在路上不断去接近就够了。

品玩:这还是一个“中国互联网智慧”,我们可以做一个落地更好的。

王小川:我觉得没有打过仗的人,都有一些理想化的东西在。他们对中国AI大模型的理解,要么太low、要么太伟大,这其实都不是一个现实的中国AI大模型。

品玩:是,我们要面对的是一个复杂的东西。

“大家对终局的讨论都蛮肤浅”

品玩:你之前发微博,讲中国要做中国的OpenAI。你是在做这件事情里,唯一提到了四个字叫“爱国之心”。这四个字,你怎么解释?

王小川:我在研究生物学的时候,意识到其实我与细胞都是生命体,所以慢慢接受一个概念叫Being。无论一个国家、民族、企业、个人、甚至文化,都是Being。而我也是更大的“大我”中的一部分。后者是有完整归属感、甚至是永恒的。

“你是谁”跟你做的事情是息息相关的,反过来你在做什么也可以反过来验证你是谁。

有句话叫“天下为私”,我觉得比“天下为公”更高级。这是一种融为一体的感觉。其实也是我们回答终极问题的一部分。

品玩:那这会让你的大模型有什么不一样吗?

王小川:我们跟全球大同是有的,但也有互相排异的部分。但首先我们有基本的期许,就是要让中国更好,你不能做任何有害于中国的事情。

品玩:怎么看待AGI的“终局”?

王小川:其实大家对“终局”的讨论都蛮肤浅的。我们应该先问“终局这个世界长啥样”,而如果只是讲AGI是底座,这是没有画面感的。

过去工业革命的逻辑是分工越细、效率越高、越规模化。但我们在智能这扇门的面前,可能是“逆社会分工”。

机器使人被普适性地赋能,更像人类拥有了搜索引擎之后,实现了信息获取的普惠化。而我们现在是获得知识和服务的能力普惠化。

人最终从工作中解放出来。所以产业未来会变平,深度会压浅、广度会拉开。人的工作会更加多元化,未必要像现在一样,必须处于流水线中串在一起才能获得结果。所以是“逆社会分工”。

所以AGI可以给人带来更平等。它可能会更像是一种文艺复兴,将重新定义人是什么。

品玩:跟Sam Altman这样顶级创业者很像,你似乎也是中国这一波互联网创业者中,很喜欢思考和表达文明级别宏大命题的人。你要思考过为什么吗?

王小川:这个话题有点太大了,能聊两三个小时。但我觉得可能首先是我内心强烈的意识,人是平等的。所以我不只是想要从产品和市场的角度去满足用户,而是一直想追问我和这个世界的关系。

访谈内容有所删改

附:王小川公开信全文:

今天我正式宣布,创建“百川智能”,一家研发并提供通用人工智能服务的中国公司。

生活在二十一世纪初是如此幸运,波澜壮阔的互联网革命还没有谢幕,通用人工智能时代又呼啸而来。多年前我曾断言,机器掌握语言,通用人工智能时代就来了;我也有畅想,搜索的未来是问答。ChatGPT的腾空出世,地动山摇,这一切都开始成为现实。ChatGPT发布到今天,仅仅131天,每天都有扑面而来的新进展、新突破。131天恍如隔世!

大半个世纪以来,科学家们前赴后继,努力创造通用智能机器。这一天终于到来,我们找到了一条巧妙的路径,用AI成功将语言转化成了数学模型。语言是知识、思考、沟通和文化的载体。维特根斯坦说,语言的边界就是世界的边界。当AI掌握了语言后,就开始认知世界,成为有知识、能思考、善表达、会学习的智能体。我把这样的智能体称为“语言AI”。

人类个体总有消亡的一天,但能够将毕生的知识通过语言记录下来供新生命学习、继承,文明因此延续。人类协作也需要个体之间通过语言沟通。掌握了沟通和世界知识的语言AI不再只是人类的“工具”,而将成为我们的伙伴和超级助理,成为人类文明的一部分。

智能时代会改写互联网时代的范式。‘连接’会被‘陪伴’取代,‘信息服务’会被‘知识服务’取代,‘免费与广告’会被‘付费与高品质’取代。

智能时代也会改写自工业时代以来的范式。曾经是专业化社会分工带来规模效应与效率提升,而未来会是逆专业化分工:之前需要很多公司协作完成的工作,会因为AI的赋能‘端到端’的完成。

智能时代将再一次开启“文艺复兴”。每个人都会因为AI的助力而变得更加强大。用好AI,一个人就可能做一个公司,解决之前难以解决的难题,也更容易成为自己想成为的人。社会也会更加扁平,以前少数人才能享有的智力服务,也能更普惠。

告别搜狗后,我已开启新的远征:立志往后二十年,为生命科学和医学的发展尽一份力,为大众健康做出一点贡献,核心路径是构建生命健康数学模型,并已经付诸行动。ChatGPT的出现,也将成为新远征的重要助力。

 不仅如此,ChatGPT是我过往经历的延续和升华。2019年我将搜狗的使命升级为“让表达和获取知识更简单”,愿景定义为“帮助每个人轻松地对话和书写。便捷地获得知识和服务,提升工作效率和生活品质”。

搜狗输入法和搜狗搜索的数据制备和产品形态,也与ChatGPT接近。它们都是把互联网上的全部语言数据收集、清洗,压缩成数据库并构建超级产品。随着深度学习的发展,这些产品都多次迭代升级,全面用上了Transformer/Bert等技术。输入法猜你想说什么,搜索猜你想要什么。而ChatGPT把这些能力推到了一个全新的高度,是输入法、搜索之外,第三个把全网数据转化成语言服务的超级产品。搜狗未尽的使命在机器掌握了语言后终于可以实现。

很多朋友认可我的技术理想主义和技术驱动的创业经验,鼓励和支持我做中国的OpenAI。也有很多搜狗和非搜狗的技术大拿,得知我有做大模型的想法,主动申请参与组队,甚至“带资入组”。

我最动心的是,能和一群有理想的人,用极致的技术驱动创造出颠覆性的智能产品。这一次,百川智能将借助语言AI的突破,构建中国最好的大模型底座,并在搜索、多模态、教育、医疗等方面增强,帮助大众轻松、普惠的获取世界知识和专业服务。

 筹建百川智能不到两个月,已有多位技术合伙人和领军人物的加入。到这个月底将会有近50人规模的精英团队。大模型的训练也已经启动,进展顺利。按照现在的进度,争取年内发布国内最好的大模型和颠覆性的产品。

我们是中国公司,但我们并不希望只是“中国的OpenAI”,而是能建立世界级的视野和技术品质,让中国享有世界级的产品,产生有世界影响力的技术的突破,进而服务海外。百川本意是众多的河流汇集奔赴海洋,象征着众多数据、行业知识汇聚成为一个强大的智能体系,生生不息。百川也象征着集百家智慧,更多人与我一道共赴山海。我们呼唤中国的领军人物、行业产品经理和远在美国的同仁的加入。

 同志们,请通过如下邮箱联系我们:

 80@baichuan-inc.com

 90@baichuan-inc.com

 95@baichuan-inc.com

 00@baichuan-inc.com

 oier@baichuan-inc.com

通用人工智能时代刚刚开启,我们作为第一批跨入新时代的人类,带着焦虑和好奇去拥抱它,思考和探索“我是谁?”我们还可以把自己的智慧注入它,做新时代的开创者,让后代们有一个更美好的未来,繁荣和延续人类文明。

百川智能CEO 王小川

2023年4月10日

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy