Simon Willison实测Bonsai 2 27B：5.95GB三值量化模型需Prism定制版llama.cpp
该模型GGUF约 5.95GB，只能跑在PrismML-Eng的llama.cpp分支上；作者在M5 Pro上测到约 20 token/秒，重启后一度达 44 token/秒，但Metal张量API未启用。
AI解读：这个模型的门槛不在显存，在运行时：Hugging Face上的Bonsai 2 27B GGUF注释里写明必须用Prism的llama.cpp分支才能跑起来，标准版llama.cpp用户会直接卡在加载这一步。
模型文件只有约 5.95GB，对本地部署来说容量压力不大；作者在M5 Pro上测到约 20 token/秒，重启服务器后一度到 44 token/秒，但他自己也不确定为什么差这么多，说明测速条件还不稳定。
真正影响体验的是启动日志里的Metal提示：张量API在当前环境不受支持并被禁用。作者认为“肯定有什么地方没跑对”，所以这些速度数字要打个折看，不能当成该模型在Apple芯片上的正常水平。
Simon Willison在 2026 年 9 月 17 日发布了一篇关于Bonsai 2 27B的实测记录，主题是该模型“以小 9 倍的体积实现近无损压缩”。他给出的可复现路径是：从Hugging Face的prism-ml/Ternary-Bonsai-2-27B-gguf仓库下载约 5.95GB的Ternary-Bonsai-2-27B-PTQ1_0.gguf，并搭配PrismML-Eng在GitHub发布的llama.cpp分支运行。他明确指出，想跑这些GGUF必须使用Prism的llama.cpp fork。
运行依赖：GGUF需要Prism的llama.cpp分支
Willison提醒，直接从Hugging Face拿Bonsai 2 27B的GGUF是不够的，需要PrismML-Eng发布的llama.cpp运行时。他给出的下载源是GitHub上PrismML-Eng/llama.cpp的prism-b10685-7dffb15版本，macOS ARM64二进制包名为llama-prism-b10685-7dffb15-bin-macos-arm64.tar.gz。
模型权重来自Hugging Face仓库prism-ml/Ternary-Bonsai-2-27B-gguf，文件名Ternary-Bonsai-2-27B-PTQ1_0.gguf，体积约 5.95GB。
- 下载并解压Prism的macOS运行时：curl -fL指向GitHub release的tar.gz，然后tar -xzf。
- 下载模型：curl -fL从Hugging Face解析路径拉取Ternary-Bonsai-2-27B-PTQ1_0.gguf。
- 启动方式：./llama-prism-b10685-7dffb15/llama-server -m Ternary-Bonsai-2-27B-PTQ1_0.gguf --port 8331 -ngl 99 -fa on -c 32768。
速度与异常：M5 Pro上 20 到 44 token/秒，Metal张量API被禁用
Willison报告的实际吞吐是：在M5 Pro上约 20 token/秒；重启服务器后他拿到过 44 token/秒，但他不确定原因。他同时表示自己“相当确定有地方没跑对”，依据是服务器启动时输出的信息：“ggml_metal_device_init: - the tensor API is not supported in this environment - disabling”。
这说明当前测试并未启用Metal张量API，上述速度数字不能代表该模型在Apple芯片上的正常表现，具体原因和影响范围在原文中没有进一步说明。
- 约 20 token/秒（M5 Pro，首次测试）。
- 约 44 token/秒（同一台M5 Pro，服务器重启后，作者不确定差异来源）。
- 启动日志显示Metal张量API不被支持并已禁用，作者据此认为运行配置存在问题。
使用入口：本地Web UI与OpenAI兼容接口
启动server后，可以打开http://localhost:8331 使用llama-server内置的Web UI，Willison评价它“非常好”。也可以通过API调用，他给出的示例是uvx llm openai endpoint http://127.0.0.1:8331/v1 --model bonsai-2-27b --responses hi。