无GPU跑7000亿参数大模型：开源框架Colibrì走红

用普通笔记本电脑运行数千亿参数大模型，甚至无需配备独立显卡。GitHub上近期热度飙升的开源分层推理框架 Colibrì，凭借纯 C 实现、零第三方引擎依赖的特性，已斩获超过 32k Star。

该项目的核心思路非常直接：既然消费级设备的内存塞不下数百GB甚至TB级的模型权重，那就不要把它们全部载入内存。

突破瓶颈：SSD成为虚拟显存

以 744B 参数的 GLM-5.2 为例，经过 int4 量化后权重约为 372GB。在常规认知中，这类超大模型只能依赖数据中心级集群运行。但通过 Colibrì，开发者仅凭 12 核 CPU 和 25GB RAM 的普通机器便跑通了全流程。

如今，Colibrì 的适配范围已拓展至 9 个模型家族，从 DeepSeek V4 Flash、Qwen，一直覆盖到 975B 参数的 Inkling，乃至 2.8T 参数的 Kimi K3。运行 Kimi K3 虽需约 1.6TB 硬盘空间，但内存门槛同样只要 32GB 起步，彻底摆脱了对昂贵显存的强依赖。

核心机制：借力 MoE 稀疏激活

Colibrì 之所以能跑通，关键在于现代大语言模型广泛采用的 MoE（混合专家）架构。

在生成每个 Token 时，MoE 模型并不会调用全部参数，而是通过 Router 路由网络按需激活少数“专家”。例如 GLM-5.2 虽有 744B 总参数，但单 Token 激活的专家参数仅约 40B。绝大多数未被激活的专家，完全没有必要长期霸占宝贵的高速内存。

基于此，Colibrì 将模型权重切分为两层结构：

1. 常驻层：Attention、Embedding 以及共享专家等密集计算部分（int4 后仅约 9.9GB），常驻系统 RAM。
2. 按需调用层：占据绝对体积的 19456 个路由专家权重存入 NVMe SSD。模型推理时，由 Router 确定当前所需专家，如果高速内存未命中，再实时从 SSD 拉取。

这相当于为模型参数构建了一套即时编译（JIT）式的按需加载系统。

AI 内存多层化调度

若每个 Token 都频繁读取磁盘，推理速度必然极低。为解决 I/O 瓶颈，Colibrì 设计了一套 AI 内存多层化（Memory Multitiering） 调度策略：

• LRU 缓存机制：近期调用的专家优先保留在 RAM 中，后续重复使用无需再读硬盘。
• 访问频次跟踪：随着推理推进，系统自动统计高频专家，赋予其更高的内存驻留优先级。
• 专家预取技术：测试显示，相邻网络层之间的专家路由相关度高达 71.6%。当前层在 CPU/GPU 计算的同时，系统已在后台预取下一层大概率用到的专家，让计算与磁盘 I/O 最大程度并行。
• 多盘并发：支持在双 NVMe SSD 上存放权重副本，双盘并行读取以翻倍 I/O 带宽。

这一架构下，存储分工明确：NVMe 负责大容量保底，RAM 缓存常客专家，VRAM（若有）则接纳最高频权重。专家所处存储介质只影响生成速度，不改变数学逻辑与计算精度。

在性能表现上，低配机器冷启动时约为 0.1 Token/s；升级至 128GB RAM 纯 CPU 桌面机后可提升至 1.8 Token/s；若配合 RTX 5090 等专业显卡完全常驻显存，解码速度可达 5.8～6.8 Token/s。

部署与可视化

Colibrì 提供了跨平台的预编译二进制文件，支持 Linux、macOS 与 Windows。系统内置了完整的 Web Dashboard，可直观呈现 Token 生成速率、分阶段延迟以及权重在 VRAM、RAM 和磁盘之间的分布情况。

此外，其“Brain”可视化界面还能实时监控数万个专家的激活状态与调用热度。

Colibrì 证明了通过精细化的分层调度，超大参数大模型的本地化推理并不一定依赖昂贵的 GPU 集群，这为消费级硬件探索前沿 AI 提供了全新思路。