Claude满分、GPT 99分，何恺明团队把AGI考试打穿了

何恺明团队一篇新论文在X平台引发热议。

国庆期间，VISTA论文上传至arXiv，揭示了过去半年全球最先进的大模型在AGI测试中处于不利地位。

同一款Claude Opus 5，在官方标准测试中仅得40分。

何恺明团队只是为其移除限制，让它直接观察游戏画面，并配备了一本能随时回溯的“相册”。

结果，Claude在ARC-AGI-3的25个公开游戏中全部通关，获得100分满分。

其操作步数甚至比初次尝试的人类玩家少了一半以上。

18个从未见过的游戏，没有任何说明，AI自行摸索规则并全部通关。

知名AI博主Mark Kretschmann在X上表示：“赋予Agent‘再看一眼’的能力，效果可能天差地别。”

过去数月，为攻克ARC-AGI-3，众多开发者编写数千行代码构建世界模拟器。

何恺明团队认为，大模型的认知能力已经足够，限制在于视觉和记忆。

大模型被一张数字表困扰半年

ARC-AGI-3是Keras之父François Chollet与ARC Prize基金会于今年3月推出的AGI测试。它由一系列交互式像素小游戏组成，开局无任何说明或规则，玩家需自行探索。

评分标准极为严格。官方邀请近500名人类新手参与测试，AI不仅要通关，步数也不能超过人类，才能获得满分。

但官方测试环境提供给大模型的，仅是一张64×64的数字表格。人类看到的角色、机关和路径，在模型眼中只是4096个数字。

这相当于让人闭着眼，仅凭坐标指示玩《超级马里奥》。

同一帧画面，左侧是官方提供的数字表，右侧是VISTA让模型直接看到的图像。

VISTA团队的首要行动，就是将数字表替换为图像。

仅此一项改动，GPT-5.6 Sol的得分便从13.33分提升至47.32分。

图像处理还更节省算力。一个数字格子消耗约4000个Token，而一张512×512的图像仅需308个Token。

一局游戏下来，文本版本消耗7190万Token，图像版本仅需3070万，且得分更高。

仅仅赋予模型真正的视觉能力，就使其分数提升了34分。

仅将数字替换为图像，GPT-5.6 Sol的分数增长超过三倍，可通关的游戏从1个增至9个。

让AI过目不忘，一步多得24分

仅能看见还不够。一局游戏常涉及数百步，多模态模型的常见问题是：图像浏览一次后，上下文一满就被删除，或压缩成简短文字摘要。

当模型需要回溯细节时，那一帧画面已不复存在。

VISTA的核心创新，是一套无损视觉记忆“相册”。

游戏输出的每一帧画面，包括动画帧，都按编号完整保存。模型可随时调用inspect功能查看任意帧，进行多帧对比、局部放大，甚至使用read_pixels读取精确颜色。

关键在于，查看相册不计入步数，只有实际游戏操作才会计步。

团队将这一机制称为“显式注意力”，模型自主决定查看哪一帧、关注哪个区域。

模型还配备了两个笔记本：GUIDE.md记录游戏规则，WORKING.md作为草稿纸。

VISTA的一个回合：模型观察画面、思考规则，必要时翻阅相册，最后执行一步操作。

论文记录了一个高度“拟人化”的操作瞬间。

在BP35游戏第三关，画面中出现一个橙色方块。模型点击后，橙色方块变为X。

它随即暂停，调出上一回合的最后一帧和之前的三帧动画，进行并列回放。

几回合后，模型又发现点击X能使橙色方块重新出现，并记录道：“这就是我需要的工具，用它搭建天花板，阻挡致命的上升。”

这一关，人类新手需要44步，模型仅用了34步。

点击橙色方块后，模型调出前后四帧动画逐帧对比，理解后才继续操作。

在《吃豆人》游戏中，迷宫中的豆子被吃一颗就少一颗。模型在第13回合和第36回合，两次强行回溯到开局第一帧，以记忆迷宫地图并寻找路径。

为模型增加上下文或提供更多像素，是许多人的第一反应。论文测试表明，这两种方法均无效。

上下文从默认的200K扩展到780K，每局Token从3070万增至1.057亿，得分却从99分降至93.9分。

图像也是如此。放大到16倍，每帧Token增至1229个，得分降至88.3分；仅放大4倍，得分是99.7分，高于默认的8倍。

论文解释称，图像过大，多余的Token占用上下文空间，但模型并未因此理解得更清晰。

上下文从200K拉到780K、图像从8倍放大到16倍，分数均不升反降。

更多不一定更好，VISTA的整体设计遵循这一理念。团队在博客中表示，他们刻意追求极简。

系统内无任何新训练的模型，每个游戏的提示词完全相同，总共四句话，未包含任何具体玩法指导。

VISTA提供给模型的所有提示词。

代码派忙碌一夏，它一页笔记即追平

今年夏天在ARC-AGI-3上取得高分的方案，如Tycho和Schema，均让大模型为每个游戏编写可运行的程序，构建模拟器反复试错。

仅跳棋游戏LF52，Schema就编写了整整4000行Python代码。

而VISTA中的模型，仅用自然语言在笔记中记录了三句话，就实现了相同的规则。

同一条跳棋规则，左侧是程序方案的代码（总计约4000行），右侧是VISTA模型自行记录的三句笔记。

据论文所述，VISTA是首个不依赖编程，在ARC-AGI-3上获得满分或接近满分的系统。

这一点在游戏之外更为重要。现实世界中，没有人能提前为你准备好一个4000行的模拟器。

Claude Opus 5通关了25个游戏的全部183关，每个游戏均获100分，总步数7302步，仅为人类的0.43倍。

GPT-5.6 Sol同样全部通关，获得99分。

在m0r0游戏中，人类需要1107步，Claude仅用219步。两份成绩均在ARC Prize官方平台上有记分卡。

ARC Prize官方平台上的记分卡，183关全部通关，25个游戏均为满分。

25个游戏逐一比较，蓝色条（Claude）均比灰色条（人类新手）短。

这套纯机械、零训练的Harness系统具有极高的泛化能力。

将其应用于带透视效果的3D画面，依然获得84.12分。

搭载GPT-5.6 Sol，投入34个网页游戏（包括马里奥、2048、我的世界等），任务成功率达63.3%，直接超越人类新手（55.3%）。

即使是静态的图像理解题也能应用。BabyVision中的一道连线题，未使用VISTA时，模型将驼鹿和兔子连错；使用VISTA放大后，正确回答。

即使是官方实现中几乎交白卷（1.89分）的320B开源模型，搭载VISTA后分数被提升至66.93分，暴涨35倍。

一年三篇，何恺明团队专注视觉

ARC测试的主流解法长期被大语言模型的文本推理主导。

但何恺明团队坚持不同观点，一年内连续发表三篇论文，专注于同一核心：ARC是视觉问题。

第一篇VARC，一个1800万参数的小型视觉模型从零训练，仅凭图像理解就追平了人类平均分。

第二篇NAT-ARC，先让模型在ImageNet上学习识别猫狗等图像，其抽象推理能力随之增强。

第三篇即VISTA，不再训练小模型，而是直接为前沿大模型配备“相册”。

何恺明团队一年内发表三篇ARC相关论文，均押注“ARC是视觉问题”这一观点。

串联这三篇论文的是何恺明的博士生胡珂雅，本科毕业于上海交大ACM班，在三篇论文中担任两篇的第一作者和一篇的第二作者。

VISTA另外两位共同第一作者是MIT博士生Qiushi Han和Linlu Qiu，MIT副教授Cathy Wu也在作者之列。

曾以ResNet和MAE闻名的何恺明，此次将视觉路线推进至AGI测试领域。

这也是对行业默认路线的一种挑战。

过去几年，业界致力于扩大模型规模、延长推理过程，智能进步几乎完全依赖模型本身。

VISTA却通过为同一款Claude模型提供视觉输入和记忆能力，使其从40分提升至满分。

ARC Prize联合创始人Mike Knoop也判断，越来越多的“学习”将发生在模型权重之外。

通往AGI的下一阶段，比拼的是如何让模型看清世界、记住世界。

何恺明团队的下一步，是充满真实画面的具身环境，那里没有人会提前将世界翻译成一张数字表。

参考资料：

https://x.com/mark_k/status/2106377357078450620

本文来自微信公众号 “新智元”（ID：AI_era），作者：ASI启示录，36氪经授权发布。