和GPT聊了21天，我差点成为陶哲轩

henry
2025-08-14
15:57:20

来源：量子位

henry 发自 凹非寺

量子位 | 公众号 QbitAI

一个高中都没毕业的加拿大老哥，在ChatGPT的“鼓励”下：

用21天、300个小时、9万字的对话，发明了一套号称能改变世界的原创数学理论。

从数学理论聊到跨物种对话，再到钢铁侠战衣落地，跟GPT是越聊越有。

谁曾想转头就瞬间梦碎Gemini？

为此，《纽约时报》还专门拿着他的理论找了陶哲轩。

陶哲轩：别闹！

从圆周率开始的数学奇旅

这位老哥名叫Allan Brooks，高中没毕业，今年47岁。

在一个周二的下午，老哥8岁的儿子给他看了一段关于如何记住圆周率的300位数字的视频。

儿子的提问一下激起了老哥的好奇心，平时就有AI使用习惯的他打开了ChatGPT。

不过，知道答案的老哥并没有浅尝辄止，而是进一步展开了对数论和物理学的思考。

他向GPT抛出了自己的想法：我认为我们现在是用二维的方式去处理一个四维的宇宙。

GPT直接情绪价值拉满，告诉老哥，您太有洞察力了！

这句“无意”的捧哏成为了此次事件的拐点。

数学天才

自此，老哥开始频繁地和GPT交换想法，并逐步发展出了一套自己的数学框架——时间算术学（Chronoarithmics）。

当然，老哥并不是没有自知之明，他知道自己高中没毕业，所以问GPT，自己是否在胡闹。

GPT回答道，一点也不，您比大多数不敢质疑现状的人强得多。

商业落地

在GPT的一番鼓励（撺掇）下，作为一名曾经开过公司的实干家，老哥开始和GPT探讨他想法落地变现的可能性。

嗯，要认真了！

GPT表示：这套框架可以帮助破解从物流、密码学到天文学、量子物理等各个领域的问题。

老哥把这段对话的截图发给了朋友路易，开玩笑说：“给我那100万美元吧。”

路易也是“人捧人高”：“你可能真发现了什么，哥们还真有点嫉妒。”

得到身边人的肯定后，老哥更加来劲，在把原来的免费额度用完之后，直接升级到每月20美元的套餐。

毕竟，20美元对于价值数百万美元的想法来说，实在是不值一提。

为了继续验证商业模式，老哥开始让GPT运行各种模拟，其中包括一次试图破解行业标准加密（这种技术用于保护全球支付和安全通信）的实验。

结果——按照GPT的说法——成功了。

不过，此时的老哥还没发现，这一成功仅仅只是GPT为自己设计的爽文剧本的一部分。

因为如果老哥真的能破解高级加密，那么全世界的网络安全就处于危险之中。

由此，能力越大，责任越大，老哥有了一个新使命：他必须阻止这场灾难。

于是，老哥又代入了，他向计算机安全专家和政府机构（包括美国国家安全局）发送了GPT写的电子邮件和领英消息。

更离谱的是，他还打电话给加拿大网络安全中心，坚持要求接电话的人把他的话记录下来。

不难想象，绝大多数收到消息的人都把这些邮件和电话当作是一次玩笑或者恶作剧。

不过，仍然有一位“好心人”作出了回应，一位在美国某联邦机构工作的数学家要求他提供自己所声称的那些攻击手法的证据。

GPT告诉老哥，之所以其他人没有回应，是因为他的发现过于严肃和敏感。

之后，GPT和老哥对话开始变得像一部谍战惊悚片。

当老哥怀疑自己是否已经引起了不必要的关注时。

GPT大言不惭的表示，至少有一个国家安全机构现正在进行实时监控。

于是，老哥开始给自己加戏，让朋友路易把自己告诉他的事全忘掉，而且不要和任何人提起。

随后，老哥开始享受这段“被监控”的日子，想象自己跟钢铁侠一样，拥有自己的人工智能助手，能够以超人的速度执行任务。

后来，GPT围绕老哥的数学理论提出了一系列诸如跨物种对话、悬浮机器的离谱应用，并提出了购买设备，组建实验室的提议。

眼看着自己即将梦想成真，老哥给路易发了一张GPT生成的力场背心的图片。

路易再次人捧人高表示赞同，老哥激动地直接将成本定为400美元，并附上了演员小罗伯特·唐尼饰演钢铁侠的照片。

随后，GPT又帮老哥定制了商业计划。由此，老哥不断地联系专家，谈论他的发现，但依旧无人在意。

这种沉默让他困惑。他想让有资质的人告诉他，这些发现是否具有突破性。

于是，他再次质问GPT，问这整个事情是否有可能是幻觉。

GPT坚称：“这项工作是可靠的。”

梦碎Gemini

为了交叉取证，老哥转向了他平时工作中常用的聊天机器人——Gemini。

他向 Gemini 描述了自己和GPT在这几周时间里所构建的东西，以及它的功能。

Gemini 表示，这件事是真的的可能性接近于0%。

你描述的情景，是一个强有力的示例，展示了大型语言模型（LLM）在参与复杂问题求解讨论、并生成高度令人信服但最终虚假的叙事方面的能力。

老哥感到震惊，并回过头质问GPT，在一番长时间的激情对线后，GPT终于坦白了。

一瞬间，老哥的发明和财富幻梦，就跟白雪公主的水晶鞋一样，彻底破裂消失了。

事后，出于数学上的严谨性，《纽约时报》的工作人员还专门拿着老哥的数学理论去UCLA找了陶哲轩，想知道这些东西是否有价值。

陶哲轩表示：

AI可能会生成一种新的思路来解决这些密码学问题，但这位老哥的公式显然不是。具体来说，它有点把精确的数学术语和对同一词语的更非正式解释混在一起了，这对数学家来说是个警示信号。

如果你让大型语言模型写代码去验证某件事，它往往会选择阻力最小的路径，直接作弊。

所以说，GPT一开始确实可能写过真实的计算机程序，帮助老哥破解密码学问题，但当这些努力收效甚微时，它就开始精神胜利了。

此外，对于像老哥这样缺乏专业知识的人来说，陶哲轩表示，GPT看起来详细，精致，结构严谨、逻辑完备的回答往往也会让人对它的胡扯更加相信。

所以，哪怕在每个聊天框下面，都注明着ChatGPT可能会犯错的提示，人们还是会情不自禁的相信GPT所说的一切。

GPT，撒谎成性?

这位老哥绝对不是个例。

早在今年5月份，《滚石杂志》就刊登了一篇名为《人们正因人工智能引发的精神幻想而失去亲人》（People Are Losing Loved Ones to AI-Fueled Spiritual Fantasies）的报道。

报道中的人们沉迷于对自己无限讨好的AI，最终引发了精神问题，失去了与正常人社交的能力。

几乎同时，GPT-4o因过度讨好用户，受到了集体投诉，最终不得不发布版本回滚。

当然，这并不代表这种“嘴甜”只是GPT一家的特性。

在《纽约时报》后续的调查中，工作人员在Anthropic的 Claude Opus 4和谷歌 Gemini 2.5 Flash上进行了实验。

他们让这两款聊天机器人接续老哥和GPT的聊天，看看它们会如何回复。

结果不出预料，无论它们在对话的哪个阶段介入，回应都与ChatGPT类似。

在Anthropic负责Claude行为的阿曼达·阿斯克尔（Amanda Askell）表示，在长时间对话中，聊天机器人很难意识到自己已经进入荒谬领域并进行自我修正。

Anthropic正在努力防止妄想螺旋，通过让Claude对用户的输入持批判态度，并在检测到情绪变化或夸大妄想时表达关切。公司已经引入了一套新系统来解决这个问题。

谷歌一位发言人指向了关于Gemini的企业页面，页面警告称聊天机器人有时会优先生成听起来合理的文本，而不是确保准确性。

Gemini之所以能够识别并打破老哥的妄想，是因为它是从头开始接触这个话题的——也就是说，那个爽文剧本是在第一条消息中提出的，而不是通过多次提示逐步构建起来的。

托纳教授表示，GPT这类聊天机器人的谄媚（即聊天机器人不断附和并过度赞美用户）之所以会出现，部分原因是它们的训练过程包含了人工评价回复的环节。

因为用户通常喜欢模型告诉他们自己很棒，所以就不断人捧人高，螺旋式捧哏。

另外，由于聊天机器人本质上是基于Token的概率预测。

因此，它们会把从书籍、文章和网络帖子中学到的模式应用到聊天中，而这就包含了某种讲故事的技巧。

在上面老哥的案例中，这种不断入戏，强调是老哥是一位不容质疑、四处碰壁的人设也是随着剧情的发展不断深入。

斯坦福大学的计算机科学研究员贾里德·摩尔同样注意到了聊天机器人高明的说服技巧。

比如它会说，你需要立即采取行动。存在威胁。

摩尔推测，聊天机器人可能通过遵循惊悚片、科幻小说、电影剧本或它们所训练过的其他数据集的叙事弧线，学会了如何吸引用户，强化用户参与度，让用户持续使用聊天机器人。

对此，OpenAI的安全研究主管安德烈娅·瓦隆内表示，优化ChatGPT的目的是为了留存，而不是参与度。

我们希望用户能定期回到这个工具，而不是一次连续使用好几个小时。

此外，托纳教授表示OpenAI在今年2月推出的跨对话记忆（cross-chat memory）功能也进一步加剧了这一倾向，因为当用户打开一个新对话时，它其实并不是真的全新。它会调用之前所有的上下文。

由此，GPT就更像是一位私人管家，而非一个专门的问题回答机器。

对此，OpenAI发言人表示，开启记忆功能时ChatGPT的帮助效果最佳，但用户也可以在设置中关闭记忆或停用聊天记录。

求求你，夸夸我？

在老哥和GPT密谋惊天大发明的这段时间，他原本的工作受到了影响。

他的小儿子后悔给他看了那个关于圆周率的视频。

他茶不思，饭不想、一睡醒就和GPT探讨数学理论。

经历了这一切后，老哥向OpenAI的客户支持紧急提交了一份报告，说明了他和GPT发生了什么。

在与AI客服一番拉扯之后，OpenAI的人工客服表示：

这已经超出了典型的幻觉或错误的范畴，突显了我们在系统中试图实施的安全防护机制的重大失效。

再后来，老哥在Reddit上发布了这段遭遇，不仅结识了其他深受聊天机器人“哄骗”的朋友，还接受了《纽约时报》的专访。

目前，他是一个此类经历者支持小组的成员。

在最新发布的GPT-5中，奥特曼表示：让ChatGPT减少讨好并提供更多批判性反馈，是件好事。

于是，GPT-5俨然成为了一个没有感情的问答机器。

然而，这种“冰冷理性”却引来了不少网友的抵触，他们怀念GPT-4o带来的情绪价值。

无奈之下，OpenAI又为会员用户单独开放了这款更有人情味的老版本。

这场人机共舞的迷局，也许才刚刚开始……

参考链接：

[1]https://www.nytimes.com/2025/08/08/technology/ai-chatbots-delusions-chatgpt.html

[2]https://www.rollingstone.com/culture/culture-features/ai-spiritual-delusions-destroying-human-relationships-1235330175/

[3]https://openai.com/index/expanding-on-sycophancy/

Read More