人类被AI“毁灭”，一定是从教它玩《我的世界》开始的

上周，几乎是前后脚，英伟达和国内几家科研机构分别发布了两份内容相似的论文。

首先是英伟达宣布开发出了一个全新的游戏AI智能体“VOYAGER”，将AI大模型GPT-4接入了《我的世界》（Minecraft）游戏。基于GPT-4，VOYAGER能够在《我的世界》里扩充着自己的物品和装备，完成诸如建造房屋、挖矿、收集仙人掌和狩猎等基本生存技能；也能独立进行开放式探索，去到不同的城市和地点，甚至是自己搭建传送门。

英伟达称VOYAGER在《我的世界》里获得的物品增加了3.3倍，旅行距离增加了2.3倍，解锁关键技能树的速度也比之前的方法快了15.3倍。

接着就是商汤科技联合清华大学、上海人工智能实验室等机构发布了通才AI智能体“Ghost in the Minecraft（GITM）”。

同样是将大语言模型（LLM）整合进《我的世界》，GITM在《我的世界》内主世界的所有技术挑战上实现了100%的任务覆盖率（成功通关解锁了完整的科技树），而此前所有智能体的总和只能覆盖30%；另外在“获取钻石”任务上，GITM成功率达67.5%，同样相比于此前的最佳成绩——OpenAI的VPT方法大幅提高了47.5%。

GITM在《我的世界》的任务覆盖率远高于现有AI智能体

直白点说，他们都选择了《我的世界》这款游戏来训练AI，并且AI都实现了真人玩家能够完成的几乎所有游戏任务，堪比是能以假乱真的效果（这放在几个月前还是不可能的事）。

我们先抛开看起来艰涩的技术细节不谈，为啥他们不约而同都迷上了拿《我的世界》做实验？

《我的世界》就是个大型AI试验场

要说起在《我的世界》里训练过的AI，那可就太多了。

著名的莫拉维克悖论是这么说的：一些任务对于人类而言很困难，例如下棋，但对AI来说很简单；而像《我的世界》这样开放世界中与环境交互、进行规划和决策等对人类来说较为简单的事情，对AI来说却是巨大挑战。

正因为这种情况的存在，在AI还不像现在这么发达的早几年，科学家们最初只是在《我的世界》里用AI完成一些简单的指令。

比如在2019年，Facebook研发过一款《我的世界》AI 助手“craftassist bot”，这是一个智能协作式的助理机器人，可以执行人类玩家指定的各种任务，如驯服马匹、建造城市、与村民会面及交易等。

也是在2019年，卡内基·梅隆大学、微软、DeepMind和OpenAI，联合机器学习顶级会议NeurIPS共同举办了一个叫做“MineRL”的专门针对《我的世界》游戏的AI比赛，到2022年一共举办了四届。

这个比赛同样见证了AI在《我的世界》中的应用由简单到复杂的过程。

比如第一届MineRL比的东西还很简单：看哪个研究团员能够创造出可以在《我的世界》中成功开采钻石的AI。不过很惨，最后参加的900多个全球顶尖团队没有一个能完成挑战，一些AI撸掉木材却不会合成，一些AI造出了熔炉却不会冶炼，一些AI知道去地下挖矿，但却选择了垂直挖……

后来到了第三届，比赛内容就变成了看谁能训练出样本高效的《我的世界》AI智能体。这一届的冠军是以76.970分的绝对优势夺冠的腾讯AI Lab“绝悟”。

各种公司、机构密集开始在《我的世界》中训练AI其实也是最近五年的事。

美国国防高级研究计划局（DARPA）在2020年8月启动了自适应分布式概率任务分配（ADAPT）项目，以期在战场空间中利用AI协助指挥官进行决策，该项目的承包商Aptima公司用到的就是《我的世界》来训练AI与人类的互动能力。

2021年哥本哈根信息技术大学、纽约大学和上海大学的研究者也创建过一个使用3D神经元胞自动机（Neural Cellular Automata，NCA）的系统，并将该系统部署在了《我的世界》里，这个时候的NCA已经可以建造毛毛虫、城堡、公寓楼和树等复杂的实体。

比较出圈的一次实验是在去年。

OpenAI去年宣布由他们训练的AI已经做到了熟练游玩《我的世界》。通过引入一种新颖且便捷的AI训练法“视频预训练（Video PreTraining）”，在向AI“投喂”了7万小时从相关合作方处获取的《我的世界》演示视频以及与视频配套的键盘鼠标操作记录后，OpenAI旗下的AI的操作已经相当传神，掌握了只有人类才能领悟的高阶玩法。

OpenAI在《我的世界》中的实操演示

此外，DeepMind也在今年年初开发出了能够媲美OpenAI成果的名叫“DreamerV3”的AI智能体。DreamerV3在没有任何人工数据辅助的情况下，被丢进《我的世界》里摸爬滚打了17天，惊人地学会了如何从0开始挖钻石，成了世界上第一个纯靠自己摸索，就能在《我的世界》里速挖钻石的AI智能体。

当时MineRL比赛的发起人之一William Guss都忍不住第一时间发来贺电：4年了，“钻石挑战”终于被攻克了！  

没有谁比《我的世界》更合适了

《我的世界》面世12年，已经成为世界上最受欢迎的一款游戏，被许多玩家形容为电子版的乐高。早在2019年，《我的世界》就超过《俄罗斯方块》成为全球销量最高的游戏。

《我的世界》“开放世界”的游戏属性让它成了科学家们训练AI的绝佳场所。

不同于LOL和王者荣耀等单一的战略对战游戏，《我的世界》并不预先设定目标，仅有的两个模式是“生存”和“创造”。“生存”模式中，玩家要造好房子并收集东西，保证活下来，即使是用来击退僵尸和蜘蛛的剑也需要玩家用木材和铁矿来锻造；“创造”模式则更加自由，玩家使用各种功能的立方体，自由构建建筑物和物体，而且游戏永远不会结束。

如果说LOL、王者荣耀或是很多棋类游戏因为简单的规则和游戏机制，可以让AI以极快的速度学习并超越战胜人类，《我的世界》游戏过程的复杂程度就几乎是在挑战AI的极限。

极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好，都增加了《我的世界》AI研究的难度。

比如，为了让AI在15分钟内找到钻石，AI需要经历徒手采集原木、合成木板、木棍与木镐，采集到铁矿，经过一系列加工才能合成钻石，看似只是一件小事，但对于AI来说，却需要掌握其中复杂的逻辑关系——这还只是《我的世界》游戏的一部分，除了制造工具，AI还需要给自己制定目标，学着在游戏世界里探索，直到解锁所有的游戏任务。

《我的世界》中找钻石的步骤

而如果只是学下棋或是打LOL，AI只用知道怎么赢就行了。

是不是觉得，《我的世界》训练出来的AI，要比靠下棋、玩LOL训练出来的AI高级多了（虽然学习速度可能慢了点）？

事实上在当前的AI研究中，科学家们会越来越追求通用人工智能（AGI）的研究，追求打造更通用的AI智能体，也就是发展AI智能体能够掌握广泛的技能，适应各种环境变化，更深入地模拟和应对人类在复杂问题上的能力，像人一样的进行感知、理解和交互（而不是只会回答简单问题、下棋能赢人类那种“小打小闹”的AI）。

这就意味着要训练通用AI，《我的世界》模拟的环境是非常合适的。

不过，开放世界游戏那么多，为什么又偏偏是《我的世界》呢？

有网友在推特向参与开发了VOYAGER的英伟达首席科学家Jim Fan发问说，既然VOYAGER是为开放世界而生，那为什么没有选择在《塞尔达》或者是《艾尔登法环》这样看上去更加宏大的开放世界游戏中作AI训练？

Jim Fan的回答是，这中间的主要难点其实并不是算法，而是因为《塞尔达》和《艾尔登法环》这样的游戏运用了“缓慢且难以以编程方式控制高端控制台”，并且“需要一个好的编码API来控制角色”。相较之下，《我的世界》的技术门槛要更低，在目标和玩法类似的情况下，《我的世界》实际也为AI训练降低了难度。

另外，《我的世界》对开发者也很友好。许多用于构建《我的世界》的代码库都是开源的，所以人们可以很容易修改。并且该游戏也允许研究人员记录和学习人们是如何一起完成任务的，然后观察他们将如何与AI智能体一起工作。

从这些意义上说，没有谁比《我的世界》来训练AI更合适的了。

这次《我的世界》里的AI有什么特别？

此次英伟达开发的VOYAGER，和商汤科技联合清华大学、上海人工智能实验室等机构开发的GITM，与过去基于《我的世界》训练的AI智能体最大的不同在于，引入了大语言模型（LLM）作为AI训练的核心方法。

以往在《我的世界》中训练AI用到的主流方法则是，模仿学习和强化学习。

即便是此前OpenAI和DeepMind开发出的最先进的《我的世界》AI智能体，用到的训练方法也是模仿学习和强化学习。

打个比方，如果想让AI在《我的世界》里学会挖矿，模拟学习要做的就是先喂给AI上万个游戏视频，让它分析学习为什么要撸树，如何利用工作台进行分解合成，如何做出第一把镐子，如何冶炼铁锭，制作铁镐，获取钻石，如何避免落入岩浆，如何战斗等等挖矿的必要步骤。

等到投喂学习结束，AI接下来就要接受强化学习，也就是把AI小人扔进《我的世界》，让它去“真正”执行挖矿的任务，通过反复实验来发现和解决问题，从而真正学会挖矿这一技能。

但在大语言模型的训练方法下，AI的学习逻辑是被完全重构的。

依然拿挖矿来说，AI智能体自身会首先根据“尽可能多发现不同的东西来帮助挖矿”的总体目标去提问、自动生成许多小任务，通过去存储有助于成功解决某个任务的行动程序（比如撸掉树木再去进行合成被验证是正确的，造出了熔炉就要去冶炼也是正确的），AI就会逐渐建立起一个如何正确挖矿的技能库。而往后如果再遇到挖矿任务，AI就可以根据其描述的嵌入在技能库中进行检索。

大语言模型训练方法下的GITM

也就是说，大语言模型的训练方法下，AI是可以自主驱动探索并掌握广泛技能的，这就使得大语言模型方法更能帮助AI成为一个终身学习者，能在较长的时间跨度内逐步获得、更新、积累和迁移知识，同时缓解了其他持续学习方法中的“灾难性遗忘”。

VOYAGER探索物品量高于其他许多AI智能体

有点像是一直让AI呆在学校里读书实习，还是让AI一开始就在社会里摸爬滚打的区别。

总而言之，用大语言模型方法在《我的世界》训练出来的AI更像一个真实的人了。

我们知道，一个理想的AI应该具有与人类类似的能力。《我的世界》里的AI不管是根据其当前的技能水平和世界状态提出合适的任务（如果发现自己处于沙漠而不是森林，就会在打铁前学会获取沙子和仙人掌），根据环境反馈完善技能并将掌握的技能存入记忆（比如打僵尸和打蜘蛛的技能类似），还是不断探索世界，以自驱动的方式寻找新任务，其实都已经和现实世界中人类的决策过程和行为方式非常相近。

说《我的世界》已经是一个缩小版的现实世界也许一点也不夸张。

而让人细思极恐的是，随着VOYAGER和GITM的研究成果发布，AI现在已经能通关《我的世界》了。

这不禁让人猜想，AI是不是很快就能在现实世界里如鱼得水，它能像人一样生活，会做饭、会用手机、知道怎么穿衣服、怎么养宠物、怎么坐公交地铁……更不可思议的是，它还能像人一样有自己的想法，知道穿哪件衣服好看，怎么做饭能更好吃，电话应该打给谁……没准在不久的将来，我们在生活中遇到到的“人”，都无法分辨它是不是AI。

既然都能通关《我的世界》了，AI过上人的生活从技术上来讲也不是不能实现。

人类又会如何选择呢？

​Read More