前途科技前途科技
  • 服务
  • 关于
  • AI
    • AI 大模型
    • 具身智能
    • 算力芯片
  • 科技
    • 智能终端
    • 软件·互联网
    • 汽车·出行
    • 科学前沿
  • 资源中心
    • 深度研究
      • AI 前沿
      • 教程
      • AI 知识库
      • 案例研究
    • 行业报告
      • 白皮书
      • 行业报告
      • 研究报告
      • 技术分享
      • 专题报告
    • 精选案例
      • 金融行业
      • 医疗行业
      • 教育行业
      • 零售行业
      • 制造行业
  • 服务
  • 关于
联系我们
AI 大模型/11.21 · 05:00/6 MIN/编译自 MIT AI News/1 阅读

MIT-IBM 揭示多模态模型「听懂」与「真懂」的差距

MIT-IBM 计算研究实验室发现,当前顶尖多模态模型看似能听会看,实则常常不依赖输入就能答对题。团队通过新基准与弱监督方法,尝试让模型在少量标注下真正学会跨模态对应关系。

MIT-IBM 揭示多模态模型「听懂」与「真懂」的差距

人类通过感官认识世界:听见鸟鸣,就知道那可能是知更鸟;在人群里扫一眼,就能认出朋友 Sarah。这种跨音频、视频、文字的多模态联想,人往往不需要多少例子就能完成。

多模态基础模型正越来越擅长模仿这种能力,但它们表现出的「流畅」常常掩盖了真实的「理解」。MIT-IBM 计算研究实验室由 MIT 计算机科学与人工智能实验室(CSAIL)高级研究科学家 Jim Glass 共同领导,长期追踪当前先进多模态模型的关键失效场景,并开发基准与数据高效方法,希望在有限监督下补上这些性能缺口。

为什么盯着短板,而不是一味做大模型?

Glass 说,这个项目已持续多年,团队基本固定为 MIT 与 IBM 的语音和视觉专家。他们的核心问题是:大语言模型已经吸收了海量文本知识和语言能力,如何在不依赖大量标注数据的前提下,把「看到、听到的东西」与语言关联起来。

模型有时其实见过某种现象,内部也存在潜在表征,但在后续微调等环节中这种能力消失了。因此,开发让能力重新浮现的技术很有价值。研究公开模型时,即便大模型也能看出明显弱点。预算无限当然可以雇人做标注,但让模型更多自主学习同样重要。团队的做法是建立新基准、评估模型,再开发在这些基准上表现更好的方法,并持续公开基准供外界使用。

从「有声图画书」到视频与音频

项目早期,团队想训练模型自动学习对应关系:只告诉机器「这段音频描述配这张图」,像给孩子读图画书一样,同时给出匹配与不匹配的样本。模型可以学会「lighthouse」这串声音对应灯塔图片,全程不涉及文字。

后来,研究从语音扩展到通用音频,又从静态图像扩展到视频:让模型看匹配的视频与音频流,也看错配的,并要求它重建被遮挡的图像或音频。模型由此学到强关联,能分辨鹦鹉的叫声,也能区分电吉他与木吉他。

大语言模型兴起后(那还是大公司入场之前),团队开始研究音频与语言的对应关系。随着大型多模态模型出现,他们转向审视这些模型的局限,并用弱监督、少监督的方法加以改进。

两个近期发现:模型会「走捷径」

在 IPLoc 研究中,团队发现 GPT-4o 这类先进模型仅凭少量示例无法定位特定物体。他们提出「假名替换」训练法:例如把「airplane」换成「Elizabeth」,迫使模型不再依赖既有知识,而是真正关注视觉上下文。

另一项音频研究 OmniR1 则暴露了更令人不安的问题。不少音频基准采用多项选择题,模型往往根本没在听声音,而是靠选项「猜题」:问音频里是什么动物在吼,选项有花栗鼠、狮子、鳄鱼、山雀,模型直接答「狮子」。部分原因是选择题便于评测——若要求文本回答,就得人工评分或让另一个语言模型当裁判,各有代价。应对办法之一,是在多种不同类型的基准上评估模型。团队发现,即使输入随机噪声,模型表现依然不错,说明它只盯着问题。他们随后开发方法,让模型更关注音频本身,抑制这种行为。

资源有限,如何改造大模型

Glass 坦言,团队无力自建超大规模基础模型,因此倾向于使用现有模型并加以适配,用弱监督方式训练,例如在测试时强化学习(test-time reinforcement learning)方面的工作。项目并非单线推进,更像「百花齐放」,没有唯一路径。

下一步:全双工语音对话

多年来,这个合作已产出二十多篇重要论文。让 Glass 印象最深的是,机器能在没有任何告知的情况下学会这些对应关系——在他们之前,没有人展示过机器能做到这一点。早期把音频与大语言模型结合、让模型谈论所听内容并与之对话,也令人兴奋;如今人们已习以为常。

未来一年,MIT-IBM 团队将适度转向全双工语音对话系统:模型边听边说,更接近人类的交流方式,而不是现在与语音助手对话时僵硬的轮流发言。这类模型刚开始出现,公开版本在低层沟通技能上尚可,但还缺少时间概念与知识深度,不如大型语言模型。团队正着手解决这些问题。视听联合研究也会继续。

该研究由 MIT-IBM 计算研究实验室的 Rogerio Feris、Brian Kingsbury、Samuel Thomas,以及图宾根大学、MIT-IBM 关联研究员 Hilde Kuehne 协作完成。

标签:多模态MITIBM大语言模型

想了解 AI 如何助力您的企业?

免费获取企业 AI 成熟度诊断报告,发现转型机会

置顶文章

自己动手做模型:ML Intern 低成本定制小模型实战
置顶

自己动手做模型:ML Intern 低成本定制小模型实战

微软和Meta收紧Claude:被削掉的是入口,不是模型
置顶

微软和Meta收紧Claude:被削掉的是入口,不是模型

前途科技前途科技
服务关于快讯技术商业报告
微信咨询二维码

咨询微信

扫码添加微信咨询

前途科技微信公众号

微信公众号

扫码关注

Copyright © 2026 AccessPath.com, 前途国际科技咨询(北京)有限公司,版权所有。|京ICP备17045010号-1|京公网安备 11010502033860号|隐私政策|服务条款
谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费
置顶

谷歌Playground的账本:做游戏的人付钱,玩游戏的人免费

//

24小时热榜

刚刚,微软官方公开了科研研究Skill
TOP1

刚刚,微软官方公开了科研研究Skill

AI 助攻纳维-斯托克斯无外力爆破
TOP2

AI 助攻纳维-斯托克斯无外力爆破

3

OpenAI 详解 Codex 沙箱安全机制

13小时前
OpenAI 详解 Codex 沙箱安全机制
4

OpenAI 发布 MedChemBench 评测 AI 药物化学推理

13小时前
OpenAI 发布 MedChemBench 评测 AI 药物化学推理
5

Google 2027年停用 Nest 应用与助手

9小时前
Google 2027年停用 Nest 应用与助手
6

Thinking Machines 发布笔记本可跑的 Inkling 2 Mini

9小时前
Thinking Machines 发布笔记本可跑的 Inkling 2 Mini
7

FBI 调查犯罪信息数据库遭入侵

9小时前
FBI 调查犯罪信息数据库遭入侵
8

128GB 内存、1 PFLOPS:3.3 万起的 RTX Spark,到底值不值?

12小时前
128GB 内存、1 PFLOPS:3.3 万起的 RTX Spark,到底值不值?
热门标签
大模型AgentRAG微调私有化部署Prompt EngineeringChatGPTClaudeDeepSeek智能客服知识管理内容生成代码辅助数据分析金融零售制造医疗教育AI 战略数字化转型ROI 分析OpenAIAnthropicGoogle

关注公众号

前途科技微信公众号

扫码关注,获取最新 AI 资讯

免费获取 AI 落地指南

3 步完成企业诊断,获取专属转型建议

已有 200+ 企业完成诊断