DeepSeek V4 多模态开源，视觉链路全拆解

DeepSeek 在 8 月 21 日将 V4 接入 API，外界当时只看到它能处理图片，并在多模态 Agent 基准上表现提升。随着权重和参考推理代码公开，V4 的视觉链路第一次可以拆开研究：图片不只被编码，还直接参与 Attention、MoE 与 Agent 推理。

01 视觉怎样进入 V4

视觉前端是一套 32 层 ViT，隐藏维度 1024，patch size 14。图片先被切成 14×14 的 patch，每个映射成 1024 维向量，位置编码采用二维 RoPE，能保留网页或 GUI 的空间关系。

V4 主干隐藏维度是 4096，视觉侧只有 1024，patch 数量也偏大。DeepSeek 在两者之间放了 Aligner：把相邻 3×3 视觉特征合并，9 个 1024 维向量拼成 9216 维，再经 9216→4096→4096 映射进入主干。相当于把视觉网格缩小到九分之一，同时完成维度对齐。

配置里的 vision_max_n_token=384 指的是进入 V4 序列后的单图预算，并非 ViT 只看 384 个 patch。前端处理更多 patch，经 3×3 Aligner 后压成几百个语言侧视觉 Token。对 Agent 而言，这直接决定每次观察环境要新增多少上下文。

另一个易忽略的细节：视觉 Token 不按普通逐行顺序进入。build_image_block() 会加入特殊标记，把相邻两行交织，并通过 COMPRESS_PAD_TO=4 让序列与 4 Token 边界对齐。V4 主干有大量 compress_ratio=4 的压缩层，两者粒度一致，说明视觉序列刻意配合了后端的压缩设计。

所以从像素到 V4 的完整路径是：高密度二维表示 → 3×3 空间压缩 → 投影到 4096 维 → 重排 Token 序列 → 进入主干。

02 进入主干以后

进入主干后，视觉 Token 不会完全按文字处理。V4 先正常生成文本 embedding，再用 merge_image_embeddings() 把视觉 embedding 写到图片占位区域。文字和图片进入同一个 4096 维空间，但图片 Token 被放在词表之外（通过 input_ids >= vocab_size 判断），保留了视觉身份。

保留标记是因为 Attention 和 MoE 需要区别处理。V4 的局部滑窗只有 128 Token，一张图可占约 384 Token，若按普通滑窗，同一张截图可能被切段。get_image_visible() 会扩展图片内部的可见范围，并要求整段图片在 prefill 阶段一次写入。

MoE 方面，V4 有 256 个路由专家，每个 Token 激活 6 个。视觉 Router 增加了独立的 bias_vl，用它影响 top-k 专家选择，实际路由权重仍来自原始 scores。前面 Hash-MoE 层则让视觉 Token 跳过基于 Token ID 的映射，根据隐藏状态重新选专家。

这种设计比把视觉彻底变成伪文字更灵活：语言主干积累的能力可以复用，视觉 Token 又不必服从语言序列的全部假设。开放权重后，bias_vl 还提供了研究入口——统计不同图像激活哪些专家，观察视觉与文本的专家分布在深层是否融合。

03 视觉成本会被一轮轮放大

DeepSeek 给 V4-Flash-Vision-Exp 加视觉，重点不是图片描述，而是 Multimodal Agent。Responses API 支持图文输入和工具使用，模型可以读取环境、生成行动、工具执行、再读取新状态，形成 Agent 循环。