Gemini 4 Argon打穿AGI终极考场 - 开云体育

谷歌终于攻克了这个最棘手的难题。

就在不久前，ARC Prize官方在X平台上公布了一份测试结果：

Gemini 4 Argon在被称为「AGI终极考场」的ARC-AGI-3上，取得了97.5%的成绩！

要知道，仅仅七个月前，ARC-AGI-3刚刚推出时，所有前沿模型的得分都低于1%。

七个月时间，从全军覆没到近乎完美。

ARC Prize在公告中特别强调：Google DeepMind是第二家在ARC-AGI-3上突破95%的AI实验室。

第一家，是OpenAI。

谷歌强势回归。

三代考题，悉数攻克

Gemini 4 Argon交出的成绩单相当亮眼。

  • ARC-AGI-1：98.5%，每题成本0.16美元
  • ARC-AGI-2：91.3%，每题成本0.32美元
  • ARC-AGI-3：97.5%，整套测试花费4800美元

三代考题，全部通关。

在排行榜上，这个97.5%的成绩仅落后于OpenAI的GPT-6 Astra（99.9%），超过了OpenAI在9月底发布的GPT-6.1 Sol（96.37%）。

这意味着，谷歌仅凭一个模型就跻身这一精英行列。

9月30日Argon发布时，谷歌博客重点介绍了复杂工作流、编码和网络安全功能，输出Token上限直接拉高到100万，通篇都是软件工程和Vals Index的成绩，却只字未提ARC-AGI。

这次接近满分的成绩公布后，谷歌同样没有发表任何评论。

看到97.5%，有人可能觉得这不过是又一次刷榜行为。

但这次情况确实不同。

ARC-AGI-3并非传统的选择题或填空题式的AI基准测试。它是一套交互式游戏环境——没有说明书，没有预设指令，也没有人告诉模型这一关的目标是什么。

模型被投入一个完全陌生的小游戏，64×64的彩色格子，7个操作按钮，连按钮的功能都不告知。

你必须自己尝试、猜测规则、发现目标、规划通关路径。

这考验的是模型面对全新事物时，现场学习和适应的能力。

这种能力是人类与生俱来的。随便找一个没玩过游戏的普通人，扔进去摸索一会儿，大概率都能通关。

但对AI来说，这恰恰是最棘手的。没有现成数据可以背诵，没有固定模式可以套用，所有知识都必须在「玩」的过程中临时构建。

七个月，考场被攻破

回顾时间线，才能体会到这件事的速度有多惊人。

3月下旬，ARC-AGI-3上线，所有前沿模型得分不足1%。

9月2日，OpenAI的GPT-6 Astra率先突破，在Provider Adapter设置下达到99.9%以上，接近满分，成为第一家突破95%的实验室。Greg Brockman在发布会上直接宣布：「欢迎来到AGI时代。」

9月29日，OpenAI又推出GPT-6.1 Sol，得分96.37%。一个月内，OpenAI两个模型先后站上95%以上。

9月30日，谷歌发布Gemini 4 Argon。

10月16日，ARC Prize官方公布Argon验证成绩，97.5%。

更说明问题的是效率数据。

在25个ARC-AGI-3公开游戏中，Argon通关所需的行动次数比人类基线少了62%。其中3个游戏，它追平甚至超越了speedrun纪录——也就是速通玩家刷出的极限成绩；另外6个，与纪录的差距不到10%。

也就是说，AI不仅学会了玩一款从未见过的游戏，还玩得比大多数人更熟练，有几关已经达到了顶尖速通玩家的水平。

ARC Prize联合创始人Mike Knoop评价说，Argon是第二个通过Provider Adapter「有效最大化」ARC-AGI-3的模型家族，并提到行动效率出现了「反向弯曲」——效率提升的速度，比预期更快。

成绩单中的一行小字

不过，这份成绩单背后还隐藏着一行不起眼的数字。

ARC Prize的推文中，两种设置的分数并排展示：

> 97.5%，4800美元（Provider Adapter harness） > 49.8%，5800美元（Standard harness）

同一个模型，同一套考题，一个97.5%，一个49.8%。

这相差的近48个百分点，全部源于一个叫「harness」的组件。

harness是什么？可以理解为模型配备的操作平台。在交互式游戏中，模型每走一步都要接收环境反馈，再决定下一步。反馈如何输入、动作如何输出、之前尝试的路径如何记录，都由这个操作平台管理。

Provider Adapter，是厂商为自家模型量身定制的接入方式；Standard harness，是考官为所有参赛模型统一提供的标准配置。

一个更反直觉的现象是：标准harness花费的金额更多——5800美元，比97.5%那档还贵了1000美元。多花了20%的成本，分数却只有一半出头。

细看标准harness的数据，低推理档49.8%（55个游戏中完成42个），中推理档46.3%（完成46个），高推理档因API问题只完成19个，连分数都没有公布。

中档多完成了4个游戏，总分反而低了3.5个百分点。思考时间更长，并没有带来更高的分数。

这并非Argon独有。榜首GPT-6 Astra的99.9%，同样是在Provider Adapter下取得的；换成标准harness，Astra也只拿到62.7%。

衡量标准快不够用了

再看另一位选手。Anthropic的Claude系列在ARC-AGI-1和ARC-AGI-2上表现优异，但到了ARC-AGI-3，要么得分偏低，要么根本没有测试。

外界习惯将OpenAI和Anthropic视为双雄争霸，但至少在ARC-AGI-3这个考场上，目前是OpenAI和谷歌两家的天下。

但真正值得关注的，已经不仅仅是分数高低。

一个号称「AGI终极考场」的基准测试，上线时让所有前沿模型集体交白卷，七个月后就被两家巨头做到接近满分——

衡量智能的尺子，被追上的速度一次比一次快。

而那条49.8%的分数线又在提醒所有人：如今拿来比较的，早已不是模型本身的裸智能，而是模型+harness的整套系统。谁会搭建操作平台，谁就能多拿将近一半的分数。

所以，以后看AI榜单，别只看分数，括号里标注的是哪种harness，与分数本身同样重要。

参考资料：

https://x.com/arcprize/status/2110768288523251762

本文来自微信公众号“新智元”，作者：ASI启示录，编辑：所罗门，36氪经授权发布。