MIT-IBM 计算研究实验室发现,当前顶尖多模态模型看似能听会看,实则常常不依赖输入就能答对题。团队通过新基准与弱监督方法,尝试让模型在少量标注下真正学会跨模态对应关系。

人类通过感官认识世界:听见鸟鸣,就知道那可能是知更鸟;在人群里扫一眼,就能认出朋友 Sarah。这种跨音频、视频、文字的多模态联想,人往往不需要多少例子就能完成。
多模态基础模型正越来越擅长模仿这种能力,但它们表现出的「流畅」常常掩盖了真实的「理解」。MIT-IBM 计算研究实验室由 MIT 计算机科学与人工智能实验室(CSAIL)高级研究科学家 Jim Glass 共同领导,长期追踪当前先进多模态模型的关键失效场景,并开发基准与数据高效方法,希望在有限监督下补上这些性能缺口。
为什么盯着短板,而不是一味做大模型?
Glass 说,这个项目已持续多年,团队基本固定为 MIT 与 IBM 的语音和视觉专家。他们的核心问题是:大语言模型已经吸收了海量文本知识和语言能力,如何在不依赖大量标注数据的前提下,把「看到、听到的东西」与语言关联起来。
模型有时其实见过某种现象,内部也存在潜在表征,但在后续微调等环节中这种能力消失了。因此,开发让能力重新浮现的技术很有价值。研究公开模型时,即便大模型也能看出明显弱点。预算无限当然可以雇人做标注,但让模型更多自主学习同样重要。团队的做法是建立新基准、评估模型,再开发在这些基准上表现更好的方法,并持续公开基准供外界使用。
从「有声图画书」到视频与音频
项目早期,团队想训练模型自动学习对应关系:只告诉机器「这段音频描述配这张图」,像给孩子读图画书一样,同时给出匹配与不匹配的样本。模型可以学会「lighthouse」这串声音对应灯塔图片,全程不涉及文字。
后来,研究从语音扩展到通用音频,又从静态图像扩展到视频:让模型看匹配的视频与音频流,也看错配的,并要求它重建被遮挡的图像或音频。模型由此学到强关联,能分辨鹦鹉的叫声,也能区分电吉他与木吉他。
大语言模型兴起后(那还是大公司入场之前),团队开始研究音频与语言的对应关系。随着大型多模态模型出现,他们转向审视这些模型的局限,并用弱监督、少监督的方法加以改进。
两个近期发现:模型会「走捷径」
在 IPLoc 研究中,团队发现 GPT-4o 这类先进模型仅凭少量示例无法定位特定物体。他们提出「假名替换」训练法:例如把「airplane」换成「Elizabeth」,迫使模型不再依赖既有知识,而是真正关注视觉上下文。
另一项音频研究 OmniR1 则暴露了更令人不安的问题。不少音频基准采用多项选择题,模型往往根本没在听声音,而是靠选项「猜题」:问音频里是什么动物在吼,选项有花栗鼠、狮子、鳄鱼、山雀,模型直接答「狮子」。部分原因是选择题便于评测——若要求文本回答,就得人工评分或让另一个语言模型当裁判,各有代价。应对办法之一,是在多种不同类型的基准上评估模型。团队发现,即使输入随机噪声,模型表现依然不错,说明它只盯着问题。他们随后开发方法,让模型更关注音频本身,抑制这种行为。
资源有限,如何改造大模型
Glass 坦言,团队无力自建超大规模基础模型,因此倾向于使用现有模型并加以适配,用弱监督方式训练,例如在测试时强化学习(test-time reinforcement learning)方面的工作。项目并非单线推进,更像「百花齐放」,没有唯一路径。
下一步:全双工语音对话
多年来,这个合作已产出二十多篇重要论文。让 Glass 印象最深的是,机器能在没有任何告知的情况下学会这些对应关系——在他们之前,没有人展示过机器能做到这一点。早期把音频与大语言模型结合、让模型谈论所听内容并与之对话,也令人兴奋;如今人们已习以为常。
未来一年,MIT-IBM 团队将适度转向全双工语音对话系统:模型边听边说,更接近人类的交流方式,而不是现在与语音助手对话时僵硬的轮流发言。这类模型刚开始出现,公开版本在低层沟通技能上尚可,但还缺少时间概念与知识深度,不如大型语言模型。团队正着手解决这些问题。视听联合研究也会继续。
该研究由 MIT-IBM 计算研究实验室的 Rogerio Feris、Brian Kingsbury、Samuel Thomas,以及图宾根大学、MIT-IBM 关联研究员 Hilde Kuehne 协作完成。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断