折腾三卡AI工作站：本地大模型该止步何处？

为了在本地运行 70B 甚至更大参数的开源模型，很多技术玩家的第一反应往往是：加显卡。

单张 RTX 4090 拥有 24GB 显存，双卡可凑出 48GB，如果塞进第三块，就能逼近 72GB。这个容量足以在低损耗量化下完整载入许多顶级模型，脱离云端审查和网络延迟。但在实际组装和测试一台三卡 RTX 工作站后，残酷的物理规律和经济账会迅速浇灭热情。

显存容量确实上去了，但代价远比想象中昂贵，性能也远非线性增长。

瓶颈不在核心，在通道

大模型推理并非单纯依赖计算核心，显存带宽与卡间通信才是关键。

企业级加速卡（如 H100 或 A100）依靠 NVLink 和 NVSwitch 提供每秒数百吉字节的双向高带宽通信。而在消费级平台，英伟达早已在 RTX 40 系列中彻底砍掉了 NVLink。

这意味着三块显卡之间的数据交换只能完全依赖主板的 PCIe 通道：

通道拆分问题：绝大多数消费级主板（如 Z790/X670）只提供 16 条直连 CPU 的 PCIe 通道。插满三张卡，通道会被拆分为 x8 + x4 + x4（甚至部分走芯片组南桥转发）。
并行策略的妥协：使用张量并行（Tensor Parallelism）时，层与层之间的 AllReduce 频繁触发跨卡通信，极容易被 x4 的 PCIe 带宽直接噎死，算力利用率大幅跌落；改用流水线并行（Pipeline Parallelism）虽然通信频率较低，但会产生大量空闲气泡，降低整体吞吐量。

最终结果就是：你买到了 300% 的显存与理论算力，但实际推理吞吐可能连单卡的 150% 都达不到。

硬件工程的物理噩梦

多卡工作站的搭建绝不是插上主板那么简单。三张全长、三槽厚度的旗舰显卡塞进一个机箱，立刻会引发连锁反应：

供电与电闸：每张 RTX 4090 满载功耗在 350W 到 450W 之间，三卡满载加 CPU，整机峰值轻松冲上 1600W。这需要专用的 2000W 钛金电源，甚至是双电源并联。普通家庭或办公室的插座和电路往往也面临过载跳闸的风险。
散热积热：中间那张卡往往紧贴其他两张卡的背板与进风口，风道严重受阻。在持续高负载下，显存温度极易撞墙降频。如果不投入高额成本改成分体水冷，整机就会变成一台刺耳的工业吸尘器。

极其脆弱的经济账

很多人选择本地部署的理由是「省去云端调用费」。但如果把账本摊开，这套逻辑很难立足。

组装一台合格的三卡 4090 工作站，算上高规格主板、服务器级 CPU、大容量内存、定制机箱与散热，硬件总投入轻松超过 5 万元人民币。而在折旧周期内，显卡硬件每年贬值明显，加之 24 小时开机的电费开销，每月隐性成本极高。

对比当下国内外的 API 生态：无论是调用通义千问、DeepSeek，还是通过租用算力平台（如 AutoDL 或恒源云）按小时租卡，5 万元的预算足够中小团队以满血吞吐调用数十亿 Token。

除非处理极其敏感、严禁出内网的私密数据，否则个人或小型工作室自己买卡造“微型超算”，从财务角度来看并不划算。

本地 AI 的理性边界

本地硬件探索充满极客乐趣，但生产力部署需要克制。

目前本地大模型部署的最优平衡点依然是**单卡 24GB（如 RTX 3090 / 4090）**搭配 8B 到 14B 参数的模型，或者依靠量化技术在端侧运行轻量版模型。如果业务规模超出了 48GB 显存（双卡）的承载极限，果断转向云端 API 或弹性算力租赁，才是远比继续加装第三块显卡更清醒的选择。