NVIDIA发布首个免训练关系型基础模型Kumo

基础模型早已颠覆了语言与计算机视觉领域。不久之前，生产环境中的自然语言处理（NLP）还需要为每个任务搭建专属流水线，包含分词、词形还原和 n-gram 等繁琐步骤。大语言模型（LLM）终结了这种旧范式——它们不仅精度更高、生产部署更简单，还为 AI 智能体应用开启了全新空间。

如今，同样的范式革命正在结构化数据领域发生。

关系型数据库承载着现代企业最核心的商业决策，但针对其进行的预测性建模仍需要耗费数周做特征工程、定制任务训练和调参。NVIDIA 正式推出 Kumo Relational（研究论文、官方文档），这是一款专为关系型数据打造的预训练基础模型。用户只需连接数据库并描述预测目标，模型即可在单次前向传播中完成预测，全程无需专门训练。

结构化数据迎来基础模型时刻

相比传统机器学习，关系型数据基础模型带来了三重变革：

1. 超越生产级流水线的高精度：作为开箱即用的替代方案，Kumo Relational 在分类与回归任务上均击败了传统监督模型。在 RelBench V1 分类任务中，它比基于专家特征工程的梯度提升树（GBDT）平均高出近 4 个 AUROC 点；在 SAP SALT 企业基准上，其开箱表现超过专家特征版 XGBoost 达 7 个 MRR 点，微调后优势更扩大至 13 个点。
2. 极简与敏捷：以往每个预测任务都是一个耗时漫长的工程项目，如今只需一条查询语句。开发团队能够以极低边际成本覆盖传统方案无力承担的长尾业务场景。
3. 赋予 AI 智能体预测能力：LLM 让智能体具备了阅读、生成和推理能力，而结构化数据基础模型则让它们能够预判未来走向（例如精准识别流失客户并采取挽留动作）。

Kumo Relational 的运行机制

绝大多数结构化数据模型只能处理单一扁平宽表。但现实中的企业数据分散在关系型数据库的多张表格中，并通过主外键和时间戳不断演进。人工打平多张表（例如计算“过去 30 天平均订单额”）不仅耗时，还会丢失宝贵的细粒度结构信号。

Kumo Relational 则是直接作用于数据库的原生模型。它在包含真实特征的合成关系数据上完成预训练，推理时依靠上下文学习（In-context Learning）适应新任务，一次前向传播可读取多达 10,000 个上下文样本。

该系统的推理流程分为三步：

• 自动上下文生成：任务采用预测查询语言（PQL）进行声明式编写。针对时序任务，系统会重放历史数据库状态，以基准时间戳构建实体子图，严格杜绝未来数据泄漏。
• 表内推理：轻量级网络独立处理各表，交替执行列注意力（学习列内取值关系）与行注意力（学习行内特征关联），在噪声扩散前完成特征筛选。
• 跨表推理：大模型网络通过图注意力机制，将行向量沿着主外键关联分发至整个关系网络，并与上下文样本进行跨样本注意力交互。由于该阶段作用于行嵌入而非单元格级别，巧妙规避了二次方复杂度计算膨胀，能轻松应对大上下文和深层子图。

训练与技术突破

企业多表数据极具私密性，难以大规模公开获取。Kumo Relational 采用了基于 PluRel 框架的合成数据生成策略，依次生成数据库架构（Schema）、贴合真实分布的外键连接，以及蕴含时序趋势和因果关系的列数据。

预训练使模型学会了跨表过滤、关联与聚合信息的能力。实验显示，合成数据预训练带来的收益在真实数据库中完全适用，且模型损失随着合成数据规模增加严格遵循幂律扩展。

在跨越电商、医疗、企业服务、社交及学术等 15 个数据库的 41 项基准评测中，Kumo Relational 显著优于监督深度学习模型和精调集成模型。在 SAP SALT 企业基准上，其均值倒数排名（MRR）超越大型 AutoGluon 集成模型 8%（微调后超 16%）。在 RelArena-α 评测中，Kumo Relational 坐稳帕累托最优前沿，在精度相当的情况下，推理速度比榜首模型快近 430 倍。

该模型在极端环境下依然稳健：仅用 0.2% 的训练数据作为上下文即可有效预测；即使切断 75% 的外键关联或加入大量噪声列，性能也几乎没有明显下降。

上手与部署

Kumo Relational 支持内存加载、数仓直连以及自研图引擎。利用内存映射 I/O，其数据吞吐速度高达 5 GB/s，可轻松驾驭 5000 亿行以上规模的大型数据库。

开发者可通过开源的 GPU 原生库 structured-data-models 本地调用，模型权重将在初次使用时自动从 下载：