何恺明团队发布VISTA框架，赋予多模态模型原生视觉记忆

多模态大模型在复杂交互环境中迎来了全新的视觉记忆架构。

MIT何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中，正式提出视觉原生框架——VISTA。它允许现有多模态模型直接观察交互环境、无损保存原始画面，并在推理时随时回看、放大和检查细节，全程无需重新训练底层基础模型。

在基准测试中，搭载VISTA的Claude Opus 5.0通关了ARC-AGI-3公开的全部25个游戏，相对人类动作效率得分达到满分100，动作步数比人类初次尝试基线减少57.4%。配合GPT-5.6 Sol同样实现全通关，取得99分。

为什么需要视觉原生的脚手架？

此前，Anthropic曾展示通过Harness（脚手架）机制维持长时间编程任务，依靠文本清单和进度记录跨越多个上下文窗口（Context window）。这种基于文字与代码的机制极大推动了AI智能体（Agent）的发展。

但面对真实视觉环境时，单纯的文本记录捉襟见肘。模型不仅需要掌握物体的位置与空间关系，还要捕捉动作前后的环境微变。更关键的是，模型在初次观测时无法预判哪些细节会在未来起决定性作用，文字摘要必然导致关键视觉信息丢失。

针对这一痛点，VISTA转变了思路：将环境返回的每一帧画面原样保存在上下文之外，让模型根据当前思考的问题，主动将所需图像检索回上下文，形成对交互历史的显式注意力机制。

三大核心组件设计

VISTA围绕视觉经验的流转设计了三个关键模块：

1. 视觉观测：将原始环境画面转化为高分辨率标准图像输入，完整保留颜色、外观与空间拓扑关系。
2. 无损视觉记忆：每次动作后，系统完整归档包括动画过渡在内的所有帧，按回合与帧号建立外部索引，摆脱上下文窗口容量的物理限制。
3. 主动视觉检查：提供专用检测工具（inspect），模型可指定调取历史回合画面，进行局部裁剪、像素放大，或多帧对比分析前后差异。

在运行机制上，模型执行动作后默认仅在当前上下文接收最后一帧，避免历史图像迅速占满Token上限。此外，框架配合使用记录全局复用经验的GUIDE.md以及跟踪当前进度的WORKING.md。当窗口接近上限，模型会自动生成工作摘要平滑交接，底层视觉档案则保持完整可查。

泛化验证与具身智能拓展

除ARC-AGI-3外，研究团队还在GameWorld、AI GameStore和BabyVision等基准上验证了泛化性。采用GPT-5.6 Sol时，VISTA在GameWorld的成功率从基线的40.0%提升至63.3%，在迷宫连线测试中将静态图片的准确率由41.0%拉升至63.2%。

论文共同第一作者为MIT博士生Qiushi Han、胡珂雅（Keya Hu）与Linlu Qiu，通讯指导包括MIT副教授Cathy Wu与何恺明。团队指出，VISTA改变的是模型获取与使用视觉数据的工作流，下一步将把这套外部视觉档案机制拓展至物理世界的具身智能任务中。