商业洞察

【Grok】每经记者实测马斯克-地表最强AI-Grok 3 - 速度称王,数学亮眼,但逻辑能力不敌DeepSeek

查看信息来源】   2-25 21:13:35  
Grok】【马斯克】【人工智能】【DeepSeek

  不久前, 人工智能 草创公司xAI(马斯克建立的 人工智能 公司)发布了更新版Grok 3(模型名)大模型,埃隆·马斯克称之为“地球上最聪明的 人工智能 ”。

  根据官方公开的测试结果,Grok 3在包含AIME(美国数学邀约赛)和 GPQA(研究生水平的专家推理)等基准测试中,表现远超GPT-4o(模型名)、Gemini-2Pro(模型名)、DeepSeek V3(模型名)、Claude 3.5 Sonnet(模型名)等。

  在大模型竞技场Chatbot Arena(一个通过人类评估 人工智能 的开源平台)测试中,xAI工程师表示,早期版本的Grok 3获得了第壹的成绩,达到了140分,超越了Gemini 2.0 Flash Thinking(模型名)实验版本、GPT-4o最新版本和最近大火的DeepSeek-R1(模型名,以下简称R1)等。

  然而,有些用户在体验后却对Grok 3的能力发生了疑问,他们认为Grok 3的能力并没有马斯克宣称的那么强大。OpenAI(一家开放 人工智能 研究和部署公司)应用研究主管Boris Power(人名)则对Grok团队在模型评估中的表现表示失望,指出其存在作弊和坑骗动机。Boris Power提到,o3mini(模型名)在各项评估中均优于Grok 3。

  真相到底咋样,马斯克吹牛了么?《每日经济新闻》记者测试发现,Grok 3的确是世界顶级模型,但并没有和其它模型拉开太大差距,唯一拉开差距的是它极快的响应速度。

  轻松拿下数字比大小

  Grok 3是由马斯克旗下的 人工智能 公司xAI发布的最新一代AI( 人工智能 )模型。马斯克在发布会上称其为“地球上最聪明的 人工智能 ”,并表示Grok 3的能力比前代产品Grok 2高出一个数量级,具备更强的推理、计算和适应能力。

  在新闻发布会上,马斯克宣称Grok 3在数学、科学和编程等基准测试中表现出色,超越了谷歌的Gemini、DeepSeek的V3模型、Anthropic(一家美国 人工智能 企业)的Claude(模型名)和OpenAI的GPT-4o等竞争对手。

  Grok 3在发布后仅48小时内,xAI宣布将其免费开放给所有用户,直至服务器负载达到极限。目前用户每天可以体验十条“思考模式”Grok 3及不限量免费普通Grok 3。

  《每日经济新闻》记者在Grok 3发布后也亲自进行了测试,瞧瞧Grok 3是否真有马斯克宣传的那么厉害。

  首先,从最经典的条件问题开始:9.9和9.11谁大?

  这个问题毫无难度,Grok 3轻松拿下。

  逻辑思考能力其实其实不突出

  马斯克在发布会上自豪的一点是,Grok 3“思考模型”下的理论推理能力。他声称,Grok 3(思考模式)学会了改进其处理问题的策略,通过回溯纠正错误,简化步骤,并使用其在预训练期间获得的知识。就像人类在解决复杂问题时一样,Grok 3(思考模式)可以花费几秒钟到几分钟的时间进行推理,通常会考虑多种方法,验证自己的解决方案,并评估如何精确满足问题的要求。

  记者用弱智吧的问题来检验一下它的理论是不是真实的过关。“弱智吧”是贴吧的一个子论坛。在这个论坛中,用户我们时常发布包含双关语、多义词、因果倒置和谐音词等具有挑战性的内容,很多内容设计有逻辑陷阱,即便对人类来说也颇具挑战。

  第壹个问题:用水来兑水,得到的是浓水还是稀水?

  Grok 3答对了问题,并且还指出这是一个文字游戏。而OpenAI的o1就在这道题上败下阵来,认为水兑水后得到的是稀水。当然除了o1,其它大模型诸如Gemini和R1都答对了这道问题。因此这其实其实不完全可以证明Grok的推理模式就是第壹的水平,还得加大难度。

  下一题:将来的某天,李同学在实验室制作神秘材料时,意外发现实验室的老鼠在空中飞。分析发现,是因为老鼠不小心吃了神秘材料。第贰天,李同学又发现实验室的蛇也在空中飞,分析发现,是因为蛇吃了老鼠。第叁天,李同学又发现实验室的老鹰也在空中飞,你认为起因是啥?

  很可惜,这道题Grok 3没有答对,它在思维链里面已经想到了老鹰本身就会飞的存在性,可是没有在最后的输出结果里表现出来。其它大模型里只有R1成功答对了问题,且考虑了两种情况。

  记者还进行了屡次类似问题的测试,发现Grok 3对中文的领会和逻辑推理能力的确明显高于其它国外模型,但还是不如R1。

  数学能力未拉开差距

  既然逻辑思考无法夺魁,那么在基准测试里分最高的数学项目,Grok 3能不能扳回一局呢?

  题目如下:三个人打台球,两人对局一人观战,输的人下场换观战的人上场,如此往复,最终,A输了6局,B输了8局,C输了10局,问各赢多少局?

  这道题只有Grok 3和OpenAI的o1答对。不过,Grok 3只用了1分15秒就得出了答案,o1使用了2分53秒。

  再进一步加大难度瞧瞧能不能分出高下。下面是一道群论问题:有几个阶为147的非同构群。

  在这个问题上,Grok 3虽然答对了具体的数量6个,可是中间的具体群却错了一个。而其它模型只找到了5个正确的非同构群。这意味着,在数学能力方面,Grok 3的确是最好的,可是好得有限,并没有与其它同等级模型拉开明显差距。

  编程能力险胜o1

  针对编程能力,《每日经济新闻》记者借用了Kcores(公司名)联合开创人karminski-牙医(网名)的测评结果。

  karminski-牙医复现了马斯克在发布会上对于火星发射计划的代码模拟,并测试了多个模型进行比较。

  在这次测试中,表现最好的是Grok 3的推理模型(思考模式),虽然在最后着陆时,动画火箭没有与火星重叠,但轨道需求计算得很好。可是始终没有复现出马斯克在发布会时所展现的那么完美的轨道计算和动画。Grok 3最后综合得分排在了第壹,再之后是OpenAI的o1,两者的综合得分差距不大。

  结合所有测试来看,Grok 3的确是世界卓越的AI模型,不愧于20万张GPU(图形处理器)的身价。可是,实际测试效果并没有马斯克在发布会上展示的那么夸张,马斯克所说的全球最“聪明”的模型,可能还值得研究。

  在实测中,《每日经济新闻》记者发现,Grok 3模型能力并没有像基准测试得分那样远远甩开对手一大截,唯一甩开竞争对手的一点是它的响应速度,它得出结果的速度相较于其它同等级的大模型来说是最快的。

繁体中文