开源llama.cpp Releases·原文 2026年11月8日

llama.cpp发布b12194:清理Hexagon后端N_HVX与线程数配置

该版本更新集中在Hexagon(高通骁龙NPU)后端,按架构设定N_HVX和N_THREADS以避免过度分配,并调整调试、跟踪与缓存相关代码;同时照例提供各平台预编译包。

llama.cpp发布b12194版本。根据发布说明,本次提交(#31857)的主题是Hexagon后端的n_hvx与n_threads清理。

Hexagon后端调整N_HVX与线程数

发布说明列出,hex-nhvx部分将N_HVX和N_THREADS改为按架构设置,目的是避免过度分配(overallocation)。同一提交还把nhvx更新应用到最新的master分支。

  • hex-nhvx:根据架构设定N_HVX和N_THREADS,避免过度分配。
  • hex-nhvx:通过重排宏来缩小diff。
  • hex-nhvx:统一日志输出。

调试、跟踪与缓存代码整理

除线程配置外,提交还涉及Hexagon后端的调试与构建支持:hex-build增加通过build.py启用HTP_DEBUG的支持;hex-trace将跟踪状态和辅助函数移入新的htp-trace.h头文件;hex-dcache清理dcache的 #define;hex-ci修复Python类型与linter警告。

  • hex-build:支持通过build.py启用HTP_DEBUG。
  • hex-trace:跟踪状态和辅助函数迁至htp-trace.h。
  • hex-dcache:清理dcache相关宏定义。
  • hex-ci:修复Python类型与linter警告。

预编译包覆盖平台

发布页继续提供多平台预编译包,包括macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu(x64、arm64、s390x,以及CUDA 12.8/13.5、ROCm 10.0、Vulkan、OpenVINO、SYCL等变体)、Android arm64、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)以及UI包。

  • Linux arm64 Snapdragon包标注支持CPU、Adreno GPU和Hexagon NPU,并附有设置指南。
  • Android arm64 Snapdragon包同样标注支持CPU、Adreno GPU和Hexagon NPU。
  • macOS Apple Silicon的KleidiAI启用版本标记为DISABLED。
  • openEuler相关构建标记为DISABLED。

信息来源

llama.cpp Releases原始来源