英伟达联合MIT开源视频增强方案：支持H3最高4K重生成

英伟达与麻省理工学院（MIT）联合研究团队 Efficient-Large-Model 近日在 Hugging Face 发布了视频增强项目 Open-H3-Regenerate-2K 的模型权重，配套推理代码已在 GitHub 的 NVlabs/Sana 仓库同步开源。

该方案基于国内大模型厂商 MiniMax 的视频模型 H3，能将低分辨率视频草稿重新生成为高分辨率视频。系统不仅支持 2560×1440 的 2K 输出，最高还可实现 3840×2160 的原生 4K 画面重生成。

MiniMax H3 的完整生成链路涵盖多模态上下文处理、基础音视频生成与高分辨率重生成等阶段。此前，官方开源的 H3-Base 主要负责生成 768P 规格的音视频，高阶的 H3-Regenerate-2K 仅以 API 形式提供服务。本次英伟达与 MIT 团队的工作，直接复用了 H3 基础模型的生成能力，为社区补齐了一套可自行部署的开放重生成方案。

在细化模型的设计与训练上，研究团队保持 H3 的 Transformer 主干网络与视频 VAE 原始参数冻结，仅训练新增的细化 LoRA。在推理阶段，细化 LoRA 能够与社区常用的 LightX2V FL2VA Turbo、LMS Sharp 等适配器合并运行，仅需三步去噪，即可在目标分辨率下补全画面细节，同时完整保留草稿视频中的场景布局和动态运镜。

为了兼顾画质与生成速度，该项目引入了社区开发的潜空间放大器，直接在视频的潜在表示层完成分辨率提升，避免了高分辨率下反复编解码带来的计算损耗。与此同时，方案配合 SoL-Engine 的稀疏注意力机制、低精度计算以及优化后的快速 VAE 解码器，对细化与输出环节进行了全链路加速。

根据团队公开的实测数据，在单张 NVIDIA B200 GPU 环境下，对一段约 5 秒的视频完成潜空间放大、三步细化及 2K 解码，耗时从原生未优化的 87.26 秒缩短至 22.45 秒，处理速度提升至约 3.9 倍。其中，蒸馏优化的快速解码器将单纯的视频解码耗时从 15 秒压缩至 1.6 秒左右。

在针对重生成质量的 RefinerBench-150 评测集上，相同输入与 2K 输出条件下，Open-H3-Regenerate-2K 在感知质量指标 UniPercept 上的平均分为 60.0，高于官方 API 的 53.4 分。在 VBench 评测中，该开源方案在美学质感、成像清晰度及主体一致性上得分更具优势，官方 API 则在动态幅度和动作平滑度上略占上风。

自 MiniMax H3 开放权重以来，全球开源社区围绕其展开的微调、模型蒸馏和工作流适配快速增长。此前，英伟达与 MIT 团队还基于该生态推出了面向交互式视频渲染的 StreamRender-H3 和快速解码器 Sol-H3-VAE；社区方面也涌现出如 LightX2V 蒸馏加速版、针对面部细节调优的 Singularity，以及接入 ComfyUI 和 Unsloth 的本地化工具链，持续拓展大模型在视频生产领域的落地应用。