昆仑万维开源首款消费级显卡视频大模型游戏Matrix-Game 4.0

从“看 AI 生成视频”跨越到“亲手玩 AI 生成的世界”，核心门槛始终是“实时交互”。

昆仑万维正式发布了全球首款运行在单张消费级显卡上的视频大模型游戏——Matrix-Game 4.0，并已在 Hugging Face 开源项目代码与模型权重。该系统构建了游戏世界模型的新范式：由轻量引擎维护世界状态与规则，由视频生成模型实时渲染高质感画面。

在单张 NVIDIA RTX 5090 显卡上，Matrix-Game 4.0 实现了 480p、60 FPS 的流畅运行，端到端延迟低至 112 毫秒，单步去噪稳态生成速度达 83 FPS，峰值显存占用仅 18.5 GiB。这标志着视频模型驱动的游戏首次具备了本地部署与即时操作的实用价值。

破局点：解决传统交互式世界模型的三个顽疾

以 Genie 为代表的上一代世界模型虽然画面精致，但在游戏交互上存在三大结构性缺陷：

1. 状态缺乏独立载体：物体存在性完全依赖模型内部记忆，视线外的角色和事件无法按规则演进，开发者也无法精准读写数值。
2. 长时间交互一致性差：自回归生成的误差随时间累积，当玩家在场景中反复探索或物体进出视野时，结构与外观易出现漂移。
3. 缺少确定的游戏规则：模型能生成动作视觉，但无法完成血量扣减、碰撞判定和胜负结算等精细逻辑。

传统路线试图让模型“记住”整个世界，而 Matrix-Game 4.0 的思路是给世界一个显式的、可维护的外部载体。

Harness 新范式：引擎管规则，AI 负责画

Matrix-Game 4.0 采用了清晰的三层分工协作架构：

• 游戏引擎（裁判员）：通过低模几何结构定义场景布局、道路、建筑与角色，并在代码层面精准维护生命值、碰撞、背包等状态。即使物体离开视野，其状态仍持续演算。
• 视频模型（画师）：基于 Wan2.2 5B 改造为 Video-to-Video（V2V）架构，接收引擎输出的低模结构画面与动态控制条件，因果自回归地生成逼真材质、光照与氛围细节，摆脱对高精度 3D 资产制作的依赖。
• 编程智能体 Coding Agent：玩家可通过自然语言提出需求，由智能体编写并修改游戏代码与场景配置，实时改变玩法规则或视觉风格。

其运行时闭环为：玩家操作 → 引擎更新状态 → 输出结构画面与控制条件 → 视频模型实时渲染 → 呈现实时画面。

全链路技术工程突破

为在消费级显卡上榨取极致性能，研发团队贯通了从数据构建到推理加速的完整链路：

• 结构画面对齐数据：团队基于虚幻引擎 5（UE5）构建了覆盖超大城市、沙漠、城堡与空战的对齐数据集，将低模拓扑结构与高模影视级画面逐帧像素级对齐，并捕获物体 ID 与因果事件。
• 动态 Caption 与空间记忆：运行时根据当前视角动态更新提示词（Prompt），将低模结构画面与生成目标拼接成 148 通道输入，结合参考图保障场景空间一致性。

• 算力极致压榨：使用 CUDA Graph 预录制 DiT 主干计算；为 RoPE、归一化和 FP8 量化编写融合 GPU kernel；视频历史 KV 采用环形缓存，并引入轻量化 TAEHV 编解码器，最终实现文本编码器、DiT 与 VAE 全量常驻单卡。

对比行业同类方案，Code World Model、StreamRender-H3 与 AgentGarten 的延迟分别达 10.2 秒、545 毫秒和 878 毫秒，且需依赖 H100、H200 或 8 卡 GB200 等昂贵集群。Matrix-Game 4.0 将延迟压至 112 毫秒，并将硬件门槛直接拉入消费级单卡，同时实现了代码、权重和白模资源的完全开源。

未来，团队计划部署 Refiner 提升渲染分辨率，探索多人联机状态一致性，并进一步拓展支持的游戏类型与场景。