MIT LIDS团队提出一种硬约束方法,用能量函数与投影层为机器学习模型设定边界,从理论上保证混沌系统预测长期有界、始终物理自洽,代码已开源。

天气预报、气候模拟、航空湍流、洋流——这些复杂混沌过程的建模近年进步巨大,但模型运行久了,往往会漂移到现实中根本不可能出现的数值上。
MIT 信息与决策系统实验室(LIDS)的研究团队找到了一种办法,把基于物理的限制嵌入机器学习模型,保证预测永远不越出现实世界的边界。相关成果已发表于《美国国家科学院院刊》(PNAS),作者为 MIT 研究生 Sunbochen Tang 与教授 Navid Azizan、Themistoklis Sapsis。团队同时公开了相关数据和开源代码。

“缺乏有界响应的保证,一直是构建复杂非线性系统数据驱动模型的主要障碍。”机械工程教授、LIDS 成员 Sapsis 说。新方法“为把最先进的机器学习架构用于现实问题的预测与控制铺平了道路,即便是那些具有内在不稳定性的问题”。
湍流会扰乱航空出行、降低风机效率、影响车辆油耗;大气动力学的混沌本性,则让长期天气预报格外困难。
“混沌系统里,初始条件的细微差别可能导致截然不同的结果,”Azizan 说,“这让长期预测极其困难。”但现实世界的变化始终受物理约束。“混沌并不意味着什么都可能发生。这类系统通常保持有界,它们的模型也应当如此。”
难题在于如何把边界写进模型。Azizan 说:“模型可以在短期内贴合数据,长时间运行却会失败。小误差不断累积,直到仿真数值无限制增长。”这是许多现有机器学习模型的通病。
“我们希望保留混沌,同时去掉真实系统并不存在的人为失控行为。”他说,“我们的方法给模型留出学习复杂动力学的空间,同时保证其轨迹始终有界。”这是首个为混沌系统机器学习模型建立此类形式化保证的工作。
此前的做法多靠在训练阶段施加惩罚或激励,而这类函数往往依赖关于系统的特权信息。Tang 解释说,由于只在训练时生效,“模型在实际使用、面对新输入时,并不能保证满足这些激励所对应的约束,仍可能给出无界预测”。
简单地人为设限同样不可取。Tang 举例说,可以规定温度不超过 100 摄氏度来强行封顶,但“这可能限制模型表达本应直接从数据中学到的复杂特征”。
“我们的不同之处在于构造基于能量的约束。”Tang 说。真实混沌系统中,能量耗散有助于让轨迹保持有界。模型因此学习一个类能量函数,以及混沌行为应被限制其中的边界,再加一个投影层调整预测演化,把能量耗散作为硬约束强制执行:一旦越界,类能量量值必须下降,系统被拉回有界区域。由此,团队可以从理论上保证预测在任意长的预报窗口内都有界。
他们在从教科书式的简单案例到高维复杂系统的多种知名物理系统上做了测试。新方法的结果与真实情况高度吻合,而传统方法很快就偏离到不可能的预测上。
Azizan 把根本差异概括为“硬约束与软约束”之别:现有方法多是激励模型满足约束,而新方法基于硬约束神经网络的概念,输出“永远是物理自洽的,即使面对模型从未见过的新情况”。
他还指出,AI 模型在图像、文本这类数据充沛的场景中表现出色,但“许多物理系统的数据并不丰富”。数据有限时,“这类物理约束方法能帮上大忙,因为问题本身的物理规律就是另一个信息来源”。
该方法适用于任何混沌系统,也“易于适配多种神经网络架构”,Tang 说。团队计划在更大规模的系统上继续测试,“看看它在真实天气系统的数据驱动模型上表现如何”。
“投影层是模块化的:它与模型无关,可以配合不同的神经网络架构,”Azizan 说,“希望其他研究者和从业者在此基础上,把它用到更大、更复杂的问题上。”
论文与开源代码已在 PNAS 上线。团队今年的后续工作在 Learning for Dynamics and Control 会议上发表,并获得最佳论文奖。
“可信可靠的 AI,不能只靠‘模型通常有效’的证据,”Azizan 说,“对高风险应用,你需要关于必须始终成立的性质的保证。这项工作建立了其中一项:有界性。我们更长远的目标,是让这些原则成为构建 AI 模型的方式,而不只是测试它们的方式。”
免费获取企业 AI 成熟度诊断报告,发现转型机会
关注公众号

扫码关注,获取最新 AI 资讯
3 步完成企业诊断,获取专属转型建议
已有 200+ 企业完成诊断