人会选择成为AI的一部分吗？OpenAI首席科学家：这或是人类试图跟上时代的方式

【编者按】自去年 11 月 OpenAI 发布惊艳众人的 ChatGPT 以来，围绕该公司的话题便一直没有间断。除了在全世界范围内侃侃而谈的首席执行官 Sam Altman 之外，相对低调的首席科学家 Ilya Sutskever 也同样是业内频频讨论的热门人物之一。

那么，对于这位亲手打造颠覆世界的技术的科学家而言，他对人工智能（AI）、通用人工智能（AGI）、超级智能（Super Intelligence）等有哪些独到的思考？

近日，《麻省理工科技评论》（MIT Technology Review）高级编辑Will Douglas Heaven 撰写了一篇题为“Exclusive: Ilya Sutskever, OpenAI’s chief scientist, on his hopes and fears for the future of AI”的长文，详细描绘了 Ilya 对 AI 未来的希望和担忧。核心观点如下:

• Ilya 现在的首要任务不是制造下一个 GPT 或 DALL-E，而是研究如何阻止超级智能体的失控。

• Ilya 认为，ChatGPT 可能是有意识的。世界需要清醒地认识到 OpenAI 和其他公司正在竞相创造的技术的真正力量。他还认为，总有一天人类会选择与机器融合。

• Ilya 认为，我们可以利用 AGI 做很多了不起的事情，例如，实现医疗自动化，使医疗成本降低一千倍，医疗效果提高一千倍，治愈很多疾病，以及真正解决全球变暖问题。

• Ilya 说，超级对齐（superalignment）是不可避免的下一步，也是一个尚未解决的问题。他认为，像他自己这样的核心机器学习研究人员还没有投入足够的精力来解决这个问题。但是，更重要的是，不管是谁构建的超级智能体，都不能失控。

• 超级对齐工作需要研究机构进行广泛的改革。不过，对于希望设计的保障措施，Ilya心中已经有了一个范例：一台能像父母看待孩子那样看待人的机器。

学术头条在不改变原文大意的情况下，做了精心的编译，内容如下：

Ilya Sutskever 低头沉思。他双臂张开，手指放在桌面上，就像一位即将弹奏第一个音符的钢琴家。我们静静地坐着。

我来到旧金山的一条不起眼的街道上，在一幢没有任何标志的办公楼里，见到了 OpenAI 的联合创始人兼首席科学家 Ilya，想听听他对自己一手打造的这项颠覆世界的技术的下一步计划。我还想知道他自己的下一步计划，尤其是为什么建立下一代领先的生成模型不再是他的工作重点。

Ilya 告诉我，他现在的首要任务不是制造下一个 GPT 或 DALL-E，而是研究如何阻止超级智能体（他认为这是一种假想的未来技术，具有真正信仰者的远见卓识）的失控。

Ilya 还透露了很多其他事情。他认为 ChatGPT 可能是有意识的。他认为世界需要清醒地认识到他的公司和其他公司正在竞相创造的技术的真正力量。他还认为，总有一天人类会选择与机器融合。

他说的很多话都很疯狂，但比起一两年前好很多。正如他自己告诉我的那样，ChatGPT 已经改写了很多人对未来的预期，把 “永远不会发生”变成了 “会比你想象的更快发生”。

在预测通用人工智能（AGI）的发展前景之前，他说：“重要的是要讨论它的发展方向，总有一天，我们真的会拥有 AGI。也许 OpenAI 会建造它，也许其他公司会建造它。”

自去年 11 月发布惊艳众人的 ChatGPT 以来，围绕 OpenAI 的讨论一直令人震惊，即使在这个以炒作著称的行业也是如此。这家市值 800 亿美元的初创公司已经无人不晓。世界各国领导人都在寻求（或已经完成）私下会面，其“笨拙”的产品名称在闲聊中不时出现。

OpenAI 首席执行官 Sam Altman在今年夏天的大部分时间里都在进行长达数周的巡回访问活动，与政界人士接触、交流和互动，并在世界各地座无虚席的礼堂发表演讲。但 Ilya 并不像公众人物那么受欢迎，他也不经常接受采访。

他说话时深思熟虑，有条不紊。他会停顿很长时间，思考自己想说什么以及怎么说，把问题像需要解决的谜题一样反复推敲。他似乎对谈论自己不感兴趣。他说：“我的生活很简单。我去上班，然后回家。我不做其他事情。一个人可以参与很多社交活动，可以参加很多活动。但我不参加。”

但当我们谈到 AI，以及他所看到的划时代的风险和回报时，他的视野豁然开朗：“这将是不朽的，惊天动地的。这将是一个明显的分水岭，会带来历史性的改变。”

更好，更好，更好

即使没有加入 OpenAI，Ilya 也仍将载入 AI 史册。作为一名以色列裔加拿大人，他出生在前苏联，但从五岁起就在耶路撒冷成长（他至今仍能说俄语、希伯来语和英语）。之后，他移居加拿大，在多伦多大学师从“AI 教父”Geoffrey Hinton。（Ilya 不想对 Hinton 的言论发表评论，但他对失控的超级智能体的关注表明他们是同道中人）。

因为在神经网络方面的研究成果，Hinton 与 Yann LeCun 和 Yoshua Bengio 共享了图灵奖。但当 Ilya 在 2000 年代初加入 Hinton 的团队时，大多数 AI 研究人员都认为神经网络是一条死胡同。Hinton 是个例外。Ilya 说：“这就是生成式 AI 的开端。这真的很酷，但还不是很完善。”

Ilya 对大脑非常着迷：大脑如何学习？如何在机器中重现或至少模仿这一过程？和 Hinton 一样，他看到了神经网络的潜力，以及 Hinton 用来训练神经网络的试错技术，即深度学习。Ilya 说：“它变得越来越好，越来越好。”

2012 年，Ilya、Hinton 和 Alex Krizhevsky（Hinton的另一名研究生）建立了一个名为 AlexNet 的神经网络，经过训练后识别照片中物体的能力远远超过了当时的其他软件。这是深度学习的重大突破时刻。

在经历了多年的失败之后，他们终于证明了神经网络在模式识别方面的惊人能力。你只需要比大多数研究人员以前所见过的更多的数据和令人瞠目的计算能力。

计算能力的显著突破来自于英伟达公司生产的一种名为图形处理器（GPU）的新型芯片。GPU 的设计目的是以闪电般的速度将快速移动的视频游戏视觉效果投射到屏幕上。但 GPU 擅长的计算在于大量数字网格的乘法，这与训练神经网络所需的计算十分相似。 

如今，英伟达已经是一家市值上万亿美元的公司。当时，该公司急于为其小众的新硬件寻找应用。英伟达首席执行官黄仁勋表示，“当你发明一项新技术时，你必须接受疯狂的想法，我的思想状态总是在寻找一些古怪的东西，而神经网络将改变计算机科学的想法，就是一个非常古怪的想法。”

黄仁勋还表示，在多伦多团队开发 AlexNet 时，英伟达就给他们寄来了几款 GPU 供他们试用。但他们想要的是最新版本，一种名为 GTX 580 的芯片，这种芯片很快就卖光了。根据黄仁勋的说法，Ilya 从多伦多开车到纽约购买了一些。“人们在街角排起了长队，” 黄仁勋说。“我不知道他是怎么做到的，我很确定每个人只能买一个；我们有一个非常严格的政策，每个人只能买一个 GPU，但他显然用它们装满了一个后备箱。满满一后备箱的 GTX 580 改变了世界。”

这是一个伟大的故事，只是可能不是真的。Ilya 坚称他的第一批 GPU 是在网上买的。但在这个热闹的行业里，这样的神话是司空见惯的。Ilya 本人则更为谦虚，他说：“我想，如果我能取得哪怕一丁点真正的进展，我都会认为这是一种成功。（当时）在现实世界产生影响似乎遥不可及，因为那时的计算机太弱了。”

AlexNet 取得成功后，谷歌问声而来，随后收购了 Hinton 的公司 DNNresearch，并聘请了 Ilya。在谷歌，Ilya 展示了深度学习的模式识别能力可以应用于数据序列，如单词和句子，以及图像。Ilya 的前同事、现任谷歌首席科学家的 Jeff Dean 说：“Ilya 一直对语言很感兴趣。这些年来，我们进行了很好的讨论。他对事物的发展方向有很强的直觉。”

但 Ilya 并没有在谷歌工作太久。2014 年，他成为了 OpenAI 的联合创始人。当时的这家新公司不仅拥有 10 亿美元的资金支持（来自Altman、Elon Musk、Peter Thiel、微软、Y Combinator 等），也表现出了硅谷典型的自信和自豪，从一开始就把目光投向了开发 AGI，而当时很少有人看好这一前景。

有了 Ilya 这个“大脑”的加入，这家新公司的豪气也就不难理解了。在此之前，他取得了一次又一次的的成功，从神经网络中获得了更多的成果和价值。Y Combinator 投资董事总经理 Dalton Caldwell说，“他的声誉走在了他的前面，这使他成为了一个非常重要的人选。”

Caldwell说：“我记得 Altman 称 Ilya 是世界上最受尊敬的研究人员之一。他认为 Ilya 能够吸引很多顶尖的 AI 人才。他甚至提到，世界顶级AI 专家 Yoshua Bengio 认为，不可能找到比 Ilya 更合适的人选来担任 OpenAI 的首席科学家。”

然而，OpenAI 一开始却举步维艰。Ilya 说：“在我们启动 OpenAI 时，有一段时间我并不确定进展会如何继续。但我有一个非常明确的信念，那就是不能对深度学习抱有怀疑或不看好的态度。奇怪的是，每次遇到障碍，研究人员都会在半年或一年内找到绕过它的方法。”

他的信念得到了回报。2016 年，OpenAI 的第一个 GPT 大型语言模型问世。随后，GPT-2 和 GPT-3 也相继问世。然后是引人注目的文生图模型 DALL-E。当时还没人能训练出同样好的模型。OpenAI 的每一次发布，都在不断提高人们的想象力。 

不断提升期望值

去年 11 月，OpenAI 发布了一款可免费使用的聊天机器人——ChatGPT，对其部分现有技术进行了重新包装。随后，ChatGPT便重新设定了整个行业的发展方向。   

当时，OpenAI 根本不知道自己在做什么。Ilya 说：“我承认，让我有点尴尬的是，我不知道我是否应该承认，但管它呢，这是事实。当我们创建 ChatGPT 时，我不知道它是好是坏。当你问它一个事实性的问题时，它会给你一个错误的答案。我以为它会很平淡无奇，人们会说‘你为什么要做这个？这太无聊了！’”

Ilya 说，吸引用户的原因是“方便”。ChatGPT 引擎盖下的大型语言模型已经存在了几个月。但将其封装在一个易于访问的界面中并免费使用，让数十亿人第一次了解到了 OpenAI 和其他公司正在构建的东西。

Ilya 说：“这种初次体验深深地吸引了人们。第一次使用它时，我觉得几乎是一种精神体验。你会说，‘哦，天哪，这台电脑似乎能听懂人说话’。”

OpenAI 在不到两个月的时间里就积累了 1 亿用户，其中许多人都被这个令人惊叹的“新玩具”迷住了。存储公司 Box 的首席执行官 Aaron Levie 在推特上总结了人们在 ChatGPT 发布一周后的情绪：“ChatGPT是技术领域难得一见的时刻，在这个时刻，你可以瞥见未来一切将如何不同。”

只要 ChatGPT 说点傻话，这个奇迹就会破灭。不过，到那时也就无所谓了。Ilya 说：“有那一瞥就足够了。ChatGPT 改变了人们的视野。”

他说，“在机器学习领域，AGI 不再是一个令人排斥的词，这是一个很大的变化。人们历来的态度是：AI 行不通，每一步都非常困难，你必须为每一丝进步而努力。当人们大肆宣扬 AGI 时，研究人员会说：‘你在说什么？这个不行，那个也不行。问题太多了。’但 ChatGPT 的出现，让这些变得不一样了。”

这种转变是一年前才开始发生的吗？“这是因为 ChatGPT 的出现，” 他说，“ChatGPT让机器学习研究人员重新有了梦想。”

OpenAI 的科学家们从一开始就是布道者，他们通过博客文章和巡回演讲激起了人们的梦想。这种做法正在奏效：“我们现在有人在谈论 AI 会发展到什么程度，有人在谈论 AGI 或超级智能体。不仅仅是研究人员，各国政府也在谈论它，”Ilya 说。“这太疯狂了。”

不可思议的事情

Ilya 坚持认为，所有这些关于尚未存在（可能永远不会存在）的技术的讨论都是一件好事，因为这让更多人意识到他已经认为理所当然的未来。

他说：“利用 AGI，你可以做很多了不起的事情，令人难以置信的事情：实现医疗自动化，使医疗成本降低一千倍，医疗效果提高一千倍，治愈很多疾病，真正解决全球变暖问题。”但也有很多人担心：‘天哪，AI 公司能否成功管理这项巨大的技术？’”

这样说来，AGI 听起来更像是一个实现愿望的精灵，而不是现实世界的前景。很少有人会拒绝拯救生命和解决气候变化问题。但一项不存在的技术的问题在于，你可以说任何有关它的话。 

当 Ilya 谈论 AGI 时，他到底在说什么？“AGI 并不是一个科学术语，”他说。“它只是一个有用的阈值，一个参考点。”

“这是一个想法，”他开始说，然后停了下来。“这就是 AI 的智能化程度，如果一个人能完成某项任务，那么 AI 也能完成。在这一点上，你可以说你拥有了 AGI。”

人们可能在谈论它，但 AGI 仍是该领域最具争议性的观点之一。很少有人认为它的发展是必然的。许多研究人员认为，在我们看到类似 Ilya 所设想的东西之前，还需要在概念上取得重大突破，而有些人则认为我们永远不会看到。 

然而，正是这一愿景从一开始就激励着他。Ilya 说：“我一直受这个想法的启发和激励。那是它还不叫 AGI，但你知道，就像让神经网络做所有事情一样。我并不总是相信它们能做到。但这是一座需要攀登的山峰。”

他将神经网络和大脑的运作方式进行了类比。两者都接收数据，汇总数据中的信号，然后根据一些简单的过程（神经网络中的数学，大脑中的化学物质和生物电）来决定是否传播这些信号。虽然这是一个极端的简化，但基本原理是成立的。

“如果你相信这一点，如果你允许自己相信这一点，那么就会产生很多有趣的影响，Ilya 说。“主要的含义是，如果你有一个非常大的人工神经网络，它应该能做很多事情。特别是，如果人脑可以做一些事情，那么一个大型人工神经网络也可以做类似的事情。”

他说：“如果你足够认真地对待这种认识，一切都会水到渠成，我的大部分工作都可以用这一点来解释。”

说到大脑，我想问一下 Ilya 在 X 上发表的一个帖子。这个帖子就像一卷箴言：“如果你把智力看得比人类所有其他品质都重要，那么你会过得很糟糕；生活和商业中的同理心被低估了；完美毁掉了很多完美的好东西。”

2022 年 2 月，他发帖称，“也许今天的大型神经网络略有意识”（Google DeepMind 首席科学家、伦敦帝国理工学院教授兼电影《机械姬》（Ex Machina）科学顾问 Murray Shanahan 对此回复道：“……就像说一大片麦田是轻微的意大利面一样。”

当我提起这件事时，Ilya 笑了。他是在故意制造争议吗？他没有。他问道：“你熟悉玻尔兹曼大脑的概念吗？”

他指的是量子力学中以 19 世纪物理学家 Ludwig Boltzmann 的名字命名的一个思想实验，在这个实验中，人们想象宇宙中的随机热力学波动会导致大脑忽隐忽现。

“我觉得现在这些语言模型有点像尔波兹曼大脑，”Ilya 说。”你开始跟它说话，你说了一会儿；然后你说完了，大脑就……”他用手做了一个消失的动作。再见，大脑。

你的意思是，当神经网络处于活动状态时，也就是说，当它被激活时，那里有什么东西？我问。

他说：“我认为有可能。我不确定，但这是一种很难反驳的可能性。但谁知道会发生什么呢，对吧？”

AI，但不是我们所熟知的 AI

当其他人还在为机器能与人类的智能相媲美而纠结时，Ilya 正在为机器能超越我们而做准备。他将其称之为超级智能体：“它们会看得更透彻，它们会看到我们看不到的东西。”

我还是很难理解这到底意味着什么。人类智能是我们衡量智能的基准。Ilya所说的比人类更聪明的智能是什么意思？

他说：“我们已经在 AlphaGo 身上看到了一个非常狭隘的超级智能的例子。2016 年，DeepMind 的棋盘游戏 AI以 4-1 的比分击败了世界上最好的围棋选手之一李世石。”Ilya 说：“它找出了下围棋的方法，与人类几千年来共同开发的方法不同。它提出了新的想法。”

Ilya 指出了 AlphaGo 闻名的第 37 步棋。在与李世石的第二局比赛中，AlphaGo 下出了令评论员们大跌眼镜的一步棋。他们认为 AlphaGo 犯了错误。事实上，AlphaGo 下出了在对局史上从未有人见过的制胜一棋。Ilya 说：“想象一下，AlphaGo 的洞察力是如此之强，而且是全方位的。”

正是这种思路促使 Ilya 做出了他职业生涯中的最大转变。他与 OpenAI 的科学家 Jan Leike一起成立了一个团队，专注于他们所谓的超级对齐（superalignment）研究。“Alignmen”是行话，意思是让 AI 模型做你想做的事。Superalignment 是 OpenAI 的术语，指超级智能体的对齐。

其目标是为构建和控制这种未来技术提出一套故障安全程序。OpenAI 表示，它将把五分之一的庞大计算资源用于解决这个问题，且在四年内。 

Leike表示，“现有的对齐方法对于比人类更聪明的模型不起作用，因为它们从根本上假定人类能够可靠地评估 AI 系统正在做的事情。随着 AI系统的能力越来越强，它们将承担更艰巨的任务。”这种想法认为，人类将更难对它们进行评估。他说：“在与 Ilya 组建超对齐团队的过程中，我们已经着手解决这些未来的对齐挑战。”

谷歌首席科学家 Jeff Dean 说：“不仅要关注大型语言模型的潜在机遇，还要关注其风险和弊端，这一点超级重要。”

该公司于 7 月份宣布了这一项目。但对一些人来说，这不过是天方夜谭。OpenAI 在 X上发表的帖子引起了科技界著名批评家的嘲讽，其中包括在Mozilla从事 AI 问责工作的Abeba Birhane（“在一篇播客文章中出现了这么多听起来宏伟却空洞的词句”）；分布式 AI 研究所（DAIR）联合创始人 Timnit Gebru（“想象一下，ChatGPT与OpenAI的技术人员更加超级一致”）；以及 AI 公司 Hugging Face 的首席伦理科学家 Margaret Mitchell（“我的对齐超过你”）。诚然，这些都是我们耳熟能详的不同声音。但这也有力地提醒我们，在一些人看来，OpenAI 是站在前沿的领导者，而在另一些人看来，OpenAI 则是从边缘向内靠拢的。

但对 Ilya 来说，超级对齐是不可避免的下一步。他说：“这是一个尚未解决的问题”。他认为，像他这样的核心机器学习研究人员还没有投入足够的精力来解决这个问题。“我这么做是为了自己的利益，”他说。“显然，重要的是，任何人构建的任何超级智能体都不能失控。”

超级对齐工作才刚刚开始。Ilya 说，这需要研究机构进行广泛的改变。不过，对于他希望设计的保障措施，他心中已经有了一个范例：一台能像父母看待孩子那样看待人的机器。他说：“在我看来，这是黄金标准。这是一种普遍真实的说法，即人们真的关心孩子。”

我和 Ilya 的谈话时间快到了，我想我们已经结束了。但他又有了新的想法，一个我没想到的想法。

“一旦你克服了失控 AI 带来的挑战，然后呢？在一个拥有更智能 AI 的世界里，人类还有生存空间吗？”他说。

Ilya 说，“有一种可能性就是，以今天的标准来看可能很疯狂，但以未来的标准来看就不那么疯狂了，那就是许多人会选择成为 AI 的一部分。这可能是人类试图跟上时代的方式。一开始，只有最大胆、最有冒险精神的人才会尝试这样做。也许其他人会跟进，或者不会。”

等等，什么？他要起身离开，他会这么做吗？我问他，他会是第一批吗？“第一批？我不知道，”他说。“但这是我考虑过的事情。真正的答案是：也许吧。” 

然后，他站起来，走出了房间。“真的很高兴再次见到你，”他边走边说。

原文作者：Will Douglas Heaven

原文链接：

https://www.technologyreview.com/2023/10/26/1082398/exclusive-ilya-sutskever-openais-chief-scientist-on-his-hopes-and-fears-for-the-future-of-ai/

编译：闫一米

｜点击关注我 👇 记得标星｜