开源llama.cpp Releases·原文 2026年10月21日

llama.cpp发布b11790:Hexagon后端加入NEON向量化与分块线程重打包

该版本提交说明称,为Hexagon的repack(重打包)加入NEON向量化,覆盖q4_0及q1/q2/f16等类型,并加入简单的分块与线程处理;发布页同时列出Snapdragon的Linux与Android构建包。

AI解读:提交说明描述的步骤包括:先为q4_0加入向量化重打包,再应用到更多量化类型,把q1、q2、f16等其余类型也做NEON向量化,最后加入简单的chunking(分块)与threading(多线程)。

该PR的提交署名中包含协作者hubezhou;变更方向是用NEON SIMD与分块多线程加速Hexagon上的权重重打包过程。

发布资产新增Linux arm64与Android arm64的Snapdragon构建包,标注支持CPU、Adreno GPU与Hexagon NPU,并链接到对应setup guide。

来源未给出加速比、基准测试或与其他后端的对比数据,因此无法据此判断实际性能提升幅度。

llama.cpp发布b11790版本。该版本发布说明列出的主要变更在Hexagon后端:为repack(重打包)加入NEON向量化,并加入简单的分块与多线程处理,对应PR #30901。

Hexagon repack的具体改动

提交说明按顺序列出改动:先为q4_0加入向量化重打包,再把这套做法应用到更多类型,随后用NEON向量化处理q1、q2、f16等其余类型,最后加入简单的chunking(分块)与threading(多线程)。

提交署名中包含协作者hubezhou。发布说明没有给出各类型改动后的性能数字。

  • q4_0:加入向量化repack
  • 其余类型:q1、q2、f16等做NEON向量化
  • 调度:加入简单的chunking与threading

构建包覆盖范围

发布页列出多平台构建资产。与本次改动直接相关的是面向Snapdragon的Linux arm64与Android arm64包,标注支持CPU、Adreno GPU与Hexagon NPU,并附有setup guide链接。

其余常规构建包括macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu的x64/arm64/s390x以及Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL版本,Windows与Android各平台包,以及UI包。发布页中macOS Apple Silicon的KleidiAI版本与openEuler相关构建标注为DISABLED。

  • Snapdragon Linux arm64:CPU、Adreno GPU、Hexagon NPU
  • Snapdragon Android arm64:CPU、Adreno GPU、Hexagon NPU
  • macOS KleidiAI版与openEuler构建标注DISABLED

信息来源

llama.cpp Releases原始来源