邱锡鹏团队模思智能获超10亿元融资，主攻全模态实时交互

在日常生活中，一个场景往往包含多种并行的信号：厨房传来玻璃碎裂的脆响，孩子紧接着低声说「不是我」，两秒后一只猫窜出客厅钻入沙发。现有的转写、音频和视觉模型能分别提取这几条信息，但将它们拼在一起时，大模型仍然很难还原现场正在发生什么。

过去几年，大语言模型极其擅长处理被整理为文本、代码和提示词的确定性信息。但进入物理世界后，现实不会先整理好格式再呈递给模型——AI 需要持续感知变化的现场，并在事态发展的同时迅速回应、随时调整。

模思智能正是瞄准这一方向。这家由复旦大学特聘教授邱锡鹏创立、成立不到两年的初创团队，宣布完成超 10 亿元 Pre-A 轮融资。本轮融资由华控基金领投，国开科创、上海科创基金、新微资本、徐汇资本等多家机构参投，老股东持续跟投，距其天使轮融资仅过去半年。

「下一代 AI 将从回答问题走向持续在场，」邱锡鹏表示，「模型不只是等人输入，而是要持续理解人和环境，在合适的时候回应并采取行动。」

自研工具反成业务突破口

模思智能孵化自复旦大学 OpenMOSS 团队。2023 年初，该团队发布了国内最早的开源对话模型之一 MOSS，随后陆续探索端到端语音模型 SpeechGPT 与统一多模态大模型 AnyGPT。2024 年底，模思智能正式独立商业化运作，CEO 李世民曾是 SpeechGPT 的早期核心开发者。

团队最初切入的是多人对话语音生成。如果逐句拼接传统语音合成，对话中的抢话、气口与停顿节奏都会丢失；要实现真实的端到端播客生成，系统必须在训练前把对话细节拆解清楚：谁在何时说了什么、何时接话、哪些声音发生重叠。

由于市面上没有满意的标注工具，团队选择自研底层模型。2026 年初，MOSS-Transcribe-Diarize 正式推出。与传统「识别后再沿时间轴拼贴」的方案不同，该模型是首个在单次调用中同时完成语音转写、说话人归属与时间戳预测的架构。不仅在复杂对话与长音频场景下表现优异，其 0.9B 开源版本还在国际语音竞赛中夺得头筹，迅速被多家头部科技企业用于客服、会议以及训练数据标注中。

这次尝试让团队确立了一种研发范式：遇到现有模型无法解决的瓶颈就自研深挖，造出的单点模型既能承接真实需求，又能反哺内部研发链路。

「AI for AI」的数据与研发飞轮

沿着这套逻辑，模思智能搭建起分工明确的多模态模型矩阵：MOSS-Transcribe-Diarize 解决说话人归属；MOSS-Audio 捕捉语速、情绪与环境噪音；MOSS-TTS 负责根据文字描述直接生成特定音色的语音；MOSS-VL-Realtime 则直接接入持续变化的实时视频流。

更关键的是，这些模型开始在内部彼此喂养，形成「AI for AI」的数据闭环：

• 跨模态交叉校验：在音视频理解中，单一模型容易出现信号偏差，而模思通过自研音视频理解模型综合研判画面与声音，减少信息割裂带来的幻觉。
• 生成与理解协同：理解模型为生成模型清洗出结构化、细粒度的运动与语气标签；生成模型造出的样本再交由理解模型筛选；筛选中暴露的错误反向成为下一轮训练素材。
• 极速低成本迭代：在复杂音视频上，全人工标注难以规模化，纯调用外部闭源商业接口成本过高。模思用轻量自研理解模型完成绝大部分密集标注，仅在关键节点辅以人工精标，显著压缩了数据管线成本。

依靠这套协同体系，团队展现出极高的迭代效率，曾在单周内为 MOSS-VL 和 MOSS-Audio 连续推送 6 个版本，并密集开源多个轻量化多模态模型。

打破回合制：探索全双工「情境智能」

目前业界的 Omni 架构（如 GPT-4o、Gemini）虽然统一了输入模态，但在交互模式上仍多停留在「单次回合制」：用户输入完毕，模型思考，随后按顺序输出。在输出过程中，外部的新变化很难直接影响正在进行的思考逻辑，时间维度没有被原生整合。

模思的思路是将听、看、说放置在同一条时间轴上，实现真正的全双工交互。模型不仅能实时接收视频流与音频流，还能随时判断当前是该保持倾听、开始讲话、暂停等待，还是根据新情况中途调整回答。

为了平衡连续音视频表征可能损害逻辑推理能力的矛盾，模思采用了阶段性的架构方案：

1. 前台交互模型：原样接收声音与视频流，保持对语气、环境动作的敏感感知，维持低延迟实时沟通；
2. 后台能动模型：在核心思考环节使用文本 Token 进行复杂逻辑推理、工具调用与任务规划。

基于这一思路，模思即将推出实时交互系统 MOSS Live。以视障辅助眼镜为例，前台交互模型可持续口述路面动态（如前方台阶、靠近的车辆），同时后台静默规划公交路径。即便规划需要时间，前台的预警也不会中断，规划完成后再自然地合并到对话中。

尽管连续表征与复杂推理的完全统一仍是整个行业面临的挑战，但跳出文本与代码的存量竞争、提前在全双工多模态场景下建立壁垒，已成为模思智能押注下一代情境智能的核心路径。