Pika开源H3 Flex音视频模型：6步去噪生成画面与同步音频

AI 视频生成初创公司 Pika 正式发布了基于 MiniMax H3 打造的衍生模型 Pika H3 Flex，并同步开源了适配器权重与本地推理代码。

该模型采用创新的去噪技术，仅需 6 步去噪即可联合生成视频画面与同步声音。模型支持文本输入、首尾帧过渡以及多模态参考等多种条件输入，能够满足创作者在镜头语言设计、参考图生成和视频编辑方面的多样化需求。

开放两套 LoRA 适配器，支持本地与工作流部署

本次开源包含两套专门的 LoRA 适配器，分别针对「文本及首尾帧条件生成」和「多模态参考生成」。官方同时提供了 MiniMax H3 基础组件与本地推理工具。

在规格方面，模型原生支持 480P 与 768P 分辨率输出，可连续生成约 5 至 15 秒的动态视频及匹配的立体声音频。为了方便开发者快速集成，Pika 提供了主流的 ComfyUI 工作流，并支持通过 Hugging Face Diffusers 库进行调用。

除了本地部署模式，Pika 还通过 API 提供面向生产环境的进阶服务，包括 1080P、2K 及 4K 级别的超分视频增强，以及多轨音频分离功能。创作者可以先在本地用较低分辨率快速生成草稿并进行筛选，再将选定内容提交 API 进行高清放大。同步生成的音频还可按需拆分为对白、配乐、音效、拟音和环境声五大独立轨道，便于后期单独剪辑混音。

蒸馏压缩至 6 步，托管推理速度提升 1.6 倍

根据 Pika 公布的技术细节，研发团队首先在内部的大规模音视频数据集上对 MiniMax H3 进行了监督微调，随后引入投影分布匹配蒸馏（PDMD）技术，将原本教师模型需要的 50 步去噪大幅压缩至 6 步。

随后，团队结合奖励反馈学习与直接偏好优化（DPO）对 LoRA 适配器进行训练，在未增加推理步数的前提下，显著改善了生成画面的美学质感、清晰度及提示词遵循度。

Pika 针对推理流程进行了深度优化。在测试中，使用 8 张 NVIDIA B300 GPU 生成一段 5 秒、768P 分辨率的音视频，条件编码、去噪与解码的整体耗时从 3.409 秒缩短至 2.129 秒，推理效率提升了约 1.6 倍。

在评测表现上，Pika 官方数据显示，H3 Flex 在五项视觉与音频质量指标中均位居第一。在 DesignArena 文生视频公开排行榜中，H3 Flex 位列综合榜单第八名，成为目前该榜单中排名最高的开源视频生成模型。

自 MiniMax H3 开源以来，全球开发者和企业围绕其衍生生态展开了密集创新。包括 Running Hub、fal、FastVideo 以及 NVIDIA 与 MIT 联合团队等，先后针对实时生成、低功耗硬件适配和超分辨率渲染推出了定制模型。目前，H3 系列开源衍生模型已超 300 个，累计下载量突破 2400 万次，催生了包括 Twitch 自动直播、全天候 AI 电视台等多样化落地应用。