鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI
大模型要在数学竞赛上跟人类同场竞技啦!
最新消息,阿里巴巴全球数学竞赛,今日官宣开启报名。依然不限年龄、国籍、职业,有意思的是,这次甚至突破了碳基硅基的限制——
首次向AI开放,诚邀全球大模型参赛。
不仅如此,获胜AI最高还可获得10000美元(约合7.2万元人民币)奖金。
如此因崔斯汀的消息,当即引起了网友们的关注。
我们还打听到,国内外有不少高校研究团队和大模型创业公司已经表达出浓厚兴趣,准备参赛。
新设「AI挑战赛」
具体来看规则。
2024阿里全球数赛,在预选赛阶段增设了一场AI挑战赛。
和参加常规赛的人类选手一样,大模型们也要对同一套预赛试题作出解答,考核内容的难度相当于数学本科一年级水平,重点考察AI的数学逻辑推理与问题解决的能力。
赛制方面,数赛官网已在今天(3月14日)开放统一报名通道,大模型参赛团队须在报名页勾选AI参赛选项。
完成报名后,官方会提供历届数赛初赛的真题和答案,让大模型选手们可以在正式比赛前先刷刷题练练手。
4月13日-15日,官网将开启初赛考试通道,参赛选手需要在此期间完成答题,并在系统中提交人类评委看得懂的答卷。
组委会将根据大模型在此过程中展现出的创新性、解题效率、解题过程的逻辑性等因素综合评分,并给出具体评语。
最终得分排名前三的AI将依次获得10000美元、5000美元和2000美元的奖金。如果所有AI均不能有效作答,则奖金会累积滚动到下届赛事的奖金池。
值得一提的是,AI挑战赛允许人类使用提示词工程来调教大模型。
但为了确保公平竞赛,避免人类替考,参赛者需要在开赛前就提交模型代码或Prompt,以供校验复现。
(这波是反向防作弊了)
大模型挑战数学竞赛·实测版
正式比赛尚未开始,但显然,面对数学竞赛题,AI具体会有怎样的表现,已经成为这届阿里数学竞赛的关注焦点之一。
为了满足大家伙儿(包括我们自己)的好奇心,量子位已经率先要到了历届初赛的真题和参考答案,咱们就请出当前最强的两位通用大模型选手——GPT-4和Claude 3,来个真题演练,先睹为快。
Round 1:选择题
开胃小菜。先来这道2023年阿里数学竞赛初赛的一道图论题:
还是先来看GPT-4的表现。
在代码解释器的加持之下,GPT-4成功选对了C选项,即90≤S≤100。并且,GPT-4也给出了具体的解释:
它通过简化模型估算出等待总时间最小可能值是81,考虑到实际线路中可能出现更多必须直行和左转的情况,结合选项,S值会更接近90而小于100。
△GPT-4真的很话痨
同样的题目抛给Claude 3:
Claude 3成功判断了题型,但很遗憾回答错误。
不过如果我们稍稍给点提示,比如:是否能将小明行驶的路线看成一个100边形,来尝试解题。
Claude 3瞬间就get到了思路,这次计算正确:S=96,选C。
这么看来,大模型的表现还是可圈可点的。它们在工具加持又或者在人类点拨的情况下,能够给出正确答案的同时,还能给出具体的解题思路。
Round 2:证明题
选择题之外,证明题也是阿里数学竞赛必出的题型。我们也挑选了一道题来进行测试。
先说正确结论:对于第一问,答案是存在;对于第二问,答案是不存在。
来看GPT-4的答题情况:
Claude 3的答案:
这一次,打分权交给你,你觉得GPT-4和Claude 3各能得几分?
总结一下,从测试结果来看,大模型们挑战阿里数学竞赛题,还是难度不小。
尽管基础知识丰富,能够初步判断出所考题型;计算速度也飞快,但也常会出现胡言乱语的状况,仍需要人类的指正和点拨。
“AI改变数学的时代正在到来”
在我们的初步测试中,大模型的解题表现虽然不如那些能闯入决赛的人类选手,但已经可以想见,在这种新的碰撞中,我们可以期待看到更多AI在抽象思维、逻辑思辨和巧妙解题方面能力的展示。
对此,阿里全球数学竞赛组委会也做出了阐释:
我们希望通过引入AI参赛,可以推动人工智能在数学领域的研究和应用创新,特别是探索AI在解决复杂数学问题方面的潜力,催生新的模型和训练方法。
虽然我们预计今年AI还可能不及人类选手的水平,但是未来差距无疑会不断缩短,甚至于超越。这一旦发生,会倒逼竞赛难度提升,也会让人类选手迸发更大潜能。
此外,数学本身就是AI的基础,我们也会去解读一些优秀AI背后的数学原理,向公众展示数学对于AI的重要性和应用前景,希望能够提升大众,特别是青少年对基础学科的兴趣。
早在ChatGPT刚开始流行之时,以陶哲轩等人为代表的数学家们,就对大模型保持高度关注。
陶哲轩本人不仅将多种AI工具都纳入了自己的工作流,还大胆预言:
当与形式证明验证器、互联网搜索和数学符号包等工具整合时,2026年的AI,如果使用得当,将成为数学研究中值得信赖的共同作者,并且在许多其他领域也是如此。
而《纽约时报》更是在对多位知名数学家进行采访后,给出了这样的评论:
AI改变数学的时代正在到来。
AI is coming for mathematics, too.
现在,阿里全球数学竞赛这样备受关注的赛事主动拥抱AI,再次印证了这一新趋势。
背后透露出的,还有数学界面对新一轮技术变革所产生的期待。
对于人类选手而言,AI与数学更深入的结合趋势已经显现,这样的比赛,可以作为新一类接触的桥梁。
对于数学家和AI研究者们而言,这样的平台为AI for Math提供了一个测试研究成果的基准,有助于推动更多数学与AI的前沿研究。
而对于大众,这也是进一步理解AI能力,和数学魅力的一扇窗口。
据说,此次大赛主办方还将联合魔搭社区,准备招募更多的开发者来参与;到时候一些国内主流的开源数学模型也出来打配合,同开发者一道与一众数学爱好者们同场竞技!
哦莫,已经可预见的是,数学界的人机混战一触即发~
所以广大开发者们也不要光看了,赶紧来试试,没准儿还能赚点生活费……
你说是吧~
— 完 —
点这里👇关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~