好未来今天宣布旗下数学大模型MathGPT已经上线并开始公测。在第一时间申请了测试资格后,我们对这款专注于数学问题的大模型产品进行了一次测试。
根据好未来的介绍,MathGPT可以为小学、初中、高中三个不同阶段的学生解答数学问题。MathGPT自带公式输入能力,用户可以直接输入不同的问题,而模型在给出答案的同时还会给出对题型的分析和以及解题思路和解题步骤,从而帮助学生真正理解相应的答案。
我们先用两道小学数学题进行了测试,而MathGPT也给出了完成度不同的答案。例如,这道题:“滨江动物园里的黑天鹅与白天鹅一共有270只,黑天鹅与白天鹅只数的比是4:5。黑天鹅与白天鹅各有多少只?”MathGPT给出了正确的解题思路,但给出的答案并不完整,没有给到最终黑天鹅和白天鹅的具体数字。虽然对于人类来说这个答案也能理解,但作为一个AI,这个回答并不完整。
我们又给MathGPT出了一道小学几何题:画一个半径2厘米的圆,并画出这个圆的互相垂直的一组对称轴。不知道是不是因为没有作图能力,它并没有直接给出答案,而是回答了这道题的解题思路和详细解释。
做完了两道小学题目之后,我们将难度加大,直接跳到中考真题。这次,我们用MathGPT 的图片上传功能上传了一张北京今年中考数学试卷的截图,测试MathGPT在中学阶段的能力以及图片分析能力。MathGPT顺利地理解了问题,并写出了这道几何题的分析、解题步骤和最终答案,轻松通过了测试。
最后,我们给出了一段纯粹的运算题目交给MathGPT,显然,这种纯粹的数学问题也难住MathGPT,它迅速地给出了题型的解法分析和答案,但详细的解题思路并没有写出,这点有些令人遗憾。
除了这些,我们还试了试它对于其他不同题型的解答能力,比如逻辑运用:
几何解析:
组合推理:
数列:
圆锥问题:
消元法:
测量:
以及函数应用:
经过几道不同难度的数学题测试,MathGPT表现出了令人满意的性能表现。然而,它仍然存在一些令人遗憾的地方。有时,MathGPT不能给出详尽的答案,它会在写完关键步骤后便戛然而止,后续的答案需要用户自己补充,这让人有些不满意。此外,虽然MathGPT准备了涵盖函数、根式、积分等内容的公式输入栏,但缺乏对公式输入的引导,这让初次使用的用户感到困惑,最终还是回归到图片输入提问的方式,使得这个功能有些鸡肋。
好在目前MathGPT还在测试阶段,好未来还有机会弥补这些功能上的不足。或许等到MathGPT正式面向用户开放的时候,我们可以见到一款功能更完善的AI数学导师。