产品 Simon Willison·原文 2026年10月5日本站收录 2026年10月6日

Simon Willison复现加法测试：Qwen3.8 27B禁用推理时数值准确率 23.57%

该测试用本地Qwen3.8-27B-Q4_K_M.gguf模型把正整数相加结果只用英文单词写出，禁用推理跑 5,070 例，启用推理跑 169 例、答对 167 例；作者称启用推理的样本每个组合只跑一次。

Simon Willison记录了一项在本地硬件上运行的加法测试：让Qwen3.8-27B-Q4_K_M.gguf模型计算正整数之和，并只用英文单词给出精确结果。

他称灵感来自Colin Frasier两年前在Bluesky上发布的一项GPT-4o实验，当时测试模型能否在数字越来越大的情况下“算出和、但用单词返回答案”。

禁用推理与启用推理的两组结果

禁用推理的测试包含 5,070 个用例，数值准确率为 23.57%，同时有 96.17% 的输出在格式上符合要求。按操作数位数拆分，一到三位数时准确率为 97.04%，十到十三位数时降至 6.44%。

启用推理的版本每个数对运行时间明显更长，因此作者没有像禁用推理那样每个组合跑 30 次，而是每个组合只跑一次，共 169 例，其中 167 例答对。Willison表示，由于是一轮抽样，他确信再跑一次会得到不同结果。

Willison称他把Colin Frasier分享的结果图表粘贴进Codex Remote会话（GPT-6 Astra），让后者用Qwen3.8-27B-Q4_K_M.gguf复现同一实验。实验在本地的DGX Spark上运行。

他提到Frasier原实验使用GPT-4o，并称自己相信GPT-4o没有借助计算器作弊，理由之一是其算错了很多题。Willison发布的报告包含部分大数计算所用推理过程的文本，例如对齐两个多位数后从右向左逐位相加、记录进位。