纯C实现的分层推理框架Colibrì 把MoE模型的冷门专家扔进NVMe SSD，常驻RAM只放约 9.9GB；12 核CPU加 25GB内存的开发机上冷缓存仅 0.05～0.1 token/s，128GB纯CPU桌面机约 1.8 token/s。
AI解读：Colibrì 的核心思路是把MoE模型里用不到的专家权重放在SSD上，用到哪个再从硬盘读哪个，而不是硬把整个模型塞进内存。这直接降低了跑大模型的门槛：GLM-5.2的 744B参数经int4处理后约 372GB权重，官方给出的最低配置是 16GB内存、推荐 24GB左右，且不强制要求GPU。
它之所以能这么干，是吃到了MoE架构的红利。GLM-5.2总参数 744B，但每个token只激活约 40B；Attention、Embedding、共享专家这些每次都要用的部分约 17B，int4后只占约 9.9GB，可以常驻内存。剩下 19456 个路由专家才是大头，int4后约 370GB，全部放SSD。
真正影响体验的是速度而不是能不能跑。作者最早的 12 核CPU + 25GB RAM开发机上，GLM-5.2冷缓存只有约 0.05～0.1 token/s；靠LRU缓存、专家使用频率统计和提前一层预测路由（项目测试可预测性 71.6%），到 128GB纯CPU桌面机能到约 1.8 token/s；若堆到 6 张RTX 5090让全部专家常驻高速存储层，解码约 5.8～6.8 token/s。
对普通读者来说，这条新闻不代表你现在就该扔掉显卡。它适合的是想在本地摸一摸前沿大模型、又不打算买机房设备的开发者，代价是硬盘空间和耐心：GLM-5.2要准备约 372GB模型，Kimi K3的 2.8T参数则需要约 1.6TB存储，RAM 32GB起步。项目已支持 9 个模型家族，作者也明确欢迎社区来一起找更高效的方案。
一个名为Colibrì 的纯C推理框架在GitHub上获得 32k Star。它把MoE大模型暂时用不到的专家权重放在NVMe SSD上，推理需要时再读进内存，从而让低配机器运行超大规模模型。
据量子位 2026 年 9 月 26 日报道，Colibrì 最初针对GLM-5.2：744B总参数经int4处理后约 372GB权重，官方给出的运行门槛是最低 16GB、推荐 24GB左右RAM，GPU不是必需品。作者验证用的开发机只有 12 核CPU和 25GB RAM。
框架目前覆盖 9 个模型家族，包括GLM-5.2/5.3、DeepSeek V4 Flash、Qwen、OLMoE、321B的GLM-5.3-Flash、975B的Thinking Machines Inkling，以及 2.8T总参数的Moonshot Kimi K3。Kimi K3需要约 1.6TB存储空间，但RAM只要 32GB起步。
项目作者JustVugg把这种调度方式类比为针对模型权重的JIT：不提前把整个模型装进内存，而是按Router的实际选择，在SSD、RAM和VRAM之间动态调度权重。
常驻内存 9.9GB，其余 19456 个专家放SSD
Colibrì 能这样运行，前提是MoE架构。以GLM-5.2为例，模型总参数 744B，但生成每个token时实际激活的参数约 40B。Router先判断该token交给哪些专家处理，只激活其中一小部分。
Colibrì 据此把模型拆成常驻和临时调用两部分。Attention、Embedding、共享专家这些每次推理都要用到的Dense部分约 17B参数，int4之后约 9.9GB，常驻RAM。真正占空间的是 19456 个路由专家，int4之后整体仍占约 370GB，全部放到NVMe SSD。
生成token时，Router先选出当前需要参与计算的专家，Colibrì 检查它们是否已在高速内存中，未命中的部分才从SSD读取，算完这层再处理下一层。项目强调一条设计原则：专家放在哪一层只决定速度，不改变模型本身，Router的选择和权重精度完全相同，不会因为内存少就少算专家或换路由。
冷缓存 0.05 token/s，靠缓存和预测提速
如果每生成一个token都从SSD读专家，速度会很慢。在最早的 12 核CPU + 25GB RAM开发机上，GLM-5.2冷缓存时只有约 0.05～0.1 token/s。
Colibrì 把VRAM、RAM和NVMe SSD组织成分层内存系统：已待在VRAM或RAM的专家直接计算，最近用过的专家尽量留在RAM缓存，不常用的继续留在SSD。它加入LRU缓存，运行中记录不同专家的使用次数，高频专家获得更高缓存优先级。
框架还会提前一层预测下一层需要哪些专家。项目测试显示，相邻层之间的专家路由相关性明显，提前一层预测的可预测性达到 71.6%。当前层还在计算时，后台就可以读取下一层可能需要的专家，把计算和SSD I/O重叠。如果机器有两块SSD，它还支持放置第二份模型副本，把专家读取任务分摊到不同硬盘。
提速效果方面，128GB RAM的纯CPU桌面机可以缓存更多专家，速度约 1.8 token/s；如果使用 6 张RTX 5090让全部专家常驻高速存储层，解码速度约 5.8～6.8 token/s。作者把这套思路称为AI memory multitiering（AI内存多层化）。
运行GLM-5.2只需程序加约 372GB模型
Colibrì 提供Linux、macOS和Windows的预编译版本，下载对应版本解压即可；从源码构建只需要gcc或clang配合OpenMP。项目已提供预转换好的GLM-5.2 int4模型，也可以从FP8原始模型自行转换。
以GLM-5.2为例，需要准备的是几百KB的Colibrì 程序和约 372GB的模型。模型放好后，用一条coli chat命令即可进入对话。Web Dashboard可以实时查看token生成速度、各阶段耗时，以及当前有多少专家待在VRAM、RAM和磁盘中；专门的Brain页面把GLM-5.2的 19456 个专家全部可视化，显示哪个专家刚被Router点名、住在哪一层存储、调用热度如何。
项目为每个模型准备单独的C适配文件，底层IO、缓存、tokenizer等公共组件复用同一核心。作者欢迎社区参与实验，寻找更高效的方案。