Meta 公布 Brain2Qwerty v2,用非侵入式脑磁图设备配合端到端深度学习,将大脑活动实时解码为完整句子,词准确率达 61%,最佳受试者达 78%,逼近需要开颅手术的方案。
Meta 一年前推出 Brain2Qwerty v1,尝试用 AI 把大脑活动直接解码成文字,全程不需要任何外科植入。6 月 29 日,Meta 公布了第二代版本 Brain2Qwerty v2:这是目前性能最强的端到端流水线,能够从非侵入式脑 recordings 中实时解码完整句子,准确率已接近过去只有开颅手术才能达到的水平。
为了让神经科学研究更快推进,Meta 同步开源了 Brain2Qwerty v1 和 v2 的全部训练代码。合作方巴斯克认知、大脑与语言中心(BCBL)则放出了 v1 数据集。
Meta 认为,这项研究可能真正改变数百万因脑部损伤而无法交流的患者的生活。立体定向脑电图、皮层脑电图等侵入式手段已经证明,把神经信号送入 AI 解码器可以恢复沟通能力,但这类手术难以规模化。非侵入式路线正好可以填补这道鸿沟。
Brain2Qwerty v2 的训练数据来自 9 名志愿者,每人佩戴脑磁图(MEG)设备、边主动打字边记录,时长各约 10 小时,累计约 2.2 万句话。
与研究界常见的做法不同,团队没有用手工设计的流程去检测神经事件,而是让端到端深度学习模型直接从原始脑信号中解码。
在此基础上,团队用神经数据对大语言模型做微调,让系统借助语义上下文,在噪声很大的脑信号与连贯语言之间搭起桥梁。此外,他们还部署了 AI 智能体来探索解码流水线的优化空间,最终训练配置由工程师人工选定。
结果是:Brain2Qwerty v2 能从嘈杂的神经输入中还原出连贯句子,词准确率达到 61%。相比之下,此前的其他非侵入式方法只有 8%。
表现最好的一位受试者,词准确率达到 78%,超过一半的句子解码后只有一个词以内的错误。
研究还发现,解码准确率随数据量呈对数线性提升。这意味着,仅靠扩大数据规模,就有望进一步缩小与手术方案之间的性能差距。
这项工作隶属于 Meta 构建开放式大脑基础模型的整体布局,包括负责感知编码的 Tribev2 模型、用于大规模处理大脑数据的 NeuralSet,以及系统评估模型的 NeuralBench。Meta 近期还设立了 500 万美元基金,用于推动「数字大脑项目」中的开放数据集建设。
Meta 表示,希望这种公开进行的研究能加快神经科学的进展,让神经系统疾病的识别、诊断和治疗不再各自为战。
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断