llama.cpp发布b11723:改进Hexagon后端FLASH_ATTN_EXT,支持长上下文与SWA模型
llama.cpp新版本b11723包含一项Hexagon后端的FLASH_ATTN_EXT改进,据提交说明可减少DMA取数、调整hmx与hvx的切换阈值,并更新hmx门控以计入mdev.count。
AI解读:b11723的主要变更是Hexagon后端的FLASH_ATTN_EXT改进。提交说明列出三项改动:支持跳过被掩码的块以减少DMA取数;微调hmx到hvx的切换阈值;更新hmx门控以考虑mdev.count。
提交说明称这组改动面向更长上下文和SWA(滑动窗口注意力)模型,并把gemma-4列为阈值微调带来的提升对象。这些属于提交说明中的描述,发布页未给出独立的基准数据或量化结果。
该改动针对Hexagon后端,对应发布包中的高通骁龙平台构建:Linux arm64与Android arm64的Snapdragon包标注包含CPU、Adreno GPU和Hexagon NPU。其他后端构建不在此次提交说明的范围内。
发布页同时列出macOS、iOS、Ubuntu、Windows、Android等多平台二进制包及UI包;macOS Apple Silicon的KleidiAI版本标注为DISABLED,openEuler构建同样标注为DISABLED。
llama.cpp发布b11723版本,主要变更在Hexagon后端:改进FLASH_ATTN_EXT,以支持更长上下文和SWA(滑动窗口注意力)模型(PR #30731)。
提交说明列出三项具体改动:hex-fa支持跳过被掩码的块以减少DMA取数;微调hmx到hvx的切换阈值,说明中称对gemma-4有提升;更新hmx门控以计入mdev.count。
改动范围与适用平台
此次改动落在Hexagon后端的Flash Attention实现上。发布包中与Hexagon相关的是Linux arm64和Android arm64的Snapdragon构建,说明分别标注为“CPU, Adreno GPU, Hexagon NPU”,并各自附带设置指南链接。
提交说明只描述改动的方向,没有给出上下文长度数值、吞吐对比或测试条件,因此无法从发布页判断提升幅度。
- PR #30731:hexagon后端FLASH_ATTN_EXT改进,面向更长上下文与SWA模型
- 支持跳过被掩码的块,以减少DMA取数
- 微调hmx到hvx的切换阈值
- 更新hmx门控以考虑mdev.count
同批发布的其他构件
b11723同时提供多平台二进制,包括macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework、Ubuntu x64/arm64/s390x的CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16构建,以及Windows x64/arm64的CPU、OpenCL Adreno、CUDA、Vulkan、OpenVINO、SYCL、ROCm构建。
部分构建被标注为不可用:macOS Apple Silicon的KleidiAI版本标为DISABLED(指向PR #23780),openEuler构建标为DISABLED(指向PR #23705)。发布页还提供UI包。
- macOS Apple Silicon KleidiAI版本:DISABLED
- openEuler构建:DISABLED
- 包含Linux arm64与Android arm64的Snapdragon(CPU/Adreno GPU/Hexagon NPU)包