开源llama.cpp Releases·原文 2026年10月19日

llama.cpp b11729增加Qwen3双向注意力与dense_2输出投影支持

该版本在Qwen3中支持双向注意力和dense_2输出投影,转换脚本同步读取use_bidirectional_attention字段;发布说明未给出性能数据。

llama.cpp发布构建b11729,主要改动是在Qwen3中支持双向注意力和dense_2输出投影(对应PR #30607)。

同一改动让模型转换流程在base中读取use_bidirectional_attention字段,相关修改落在conversion/base.py。

b11729的Qwen3改动

发布说明把b11729的改动概括为“qwen3 : bidirectional attention and dense_2 output projection”,提交记录同时包含转换侧读取use_bidirectional_attention的修改。

提交信息注明由Grok协助,Sigbjørn Skjæret参与共同编写并更新conversion/base.py。

  • 新增Qwen3双向注意力支持
  • 新增dense_2输出投影支持
  • 转换脚本在base中读取use_bidirectional_attention

发布范围与限制

b11729按平台提供预编译包,覆盖macOS Apple Silicon、macOS Intel、iOS XCFramework,以及Ubuntu x64/arm64/s390x的CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL版本,另有Android、Windows和Snapdragon专用构建。

发布页将macOS Apple Silicon的KleidiAI版本和openEuler系列标为DISABLED。

  • 发布说明未给出精度、速度或显存占用的评测结果
  • 是否适用于具体Qwen3模型,取决于该模型是否使用双向注意力或dense_2输出投影配置

信息来源

llama.cpp Releases原始来源