llama.cpp b12099为Hexagon后端加入LIGHTNING_INDEXER支持
该版本在Hexagon后端新增LIGHTNING_INDEXER算子支持,覆盖预填充与解码路径,并增加q4_0、q8_0及K(f32)数据类型;同时提供GGML_HEXAGON_LI_SELECT环境变量用于强制选择HMX或HVX路径。
AI解读:据提交说明,支持包含预填充阶段的HMX路径、q8_0解码gather transpose与双块解码计算,以及解码和预填充的流水线HMX路径。
数据类型方面逐步加入K(f32)、q4_0支持,并移除HMX q4_0 K预处理中的标量VTCM读取和向量溢出。
提交还加入GGML_HEXAGON_LI_SELECT环境变量,用于强制选择HMX或HVX路径,并支持维度折叠(dims collapse)。
该版本同时提供macOS、iOS、Linux、Android、Windows等多平台预编译包,其中骁龙平台包标注包含CPU、Adreno GPU与Hexagon NPU。
来源为发布说明与提交信息,未给出性能对比或基准数据,因此无法据此判断加速幅度。
llama.cpp发布b12099版本,Hexagon后端新增LIGHTNING_INDEXER算子支持(提交 #31289)。
提交说明列出该支持覆盖预填充与解码路径,并加入多种量化格式与一个用于选择计算路径的环境变量。
Hexagon后端的LIGHTNING_INDEXER支持
提交信息显示,本次为Hexagon后端加入LIGHTNING_INDEXER算子的初始支持,随后扩展了预填充阶段的HMX路径,以及q8_0解码gather transpose和双块解码计算。
提交还描述了解码与预填充的流水线HMX路径,并让DMA流水线在所有路径使用统一的双缓冲方式。
- 数据类型:加入K(f32)与q4_0支持
- 优化:移除HMX q4_0 K预处理中的标量VTCM读取与向量溢出
- 开关:新增GGML_HEXAGON_LI_SELECT,可强制选择HMX或HVX路径
- 结构:支持维度折叠,kparams与其他算子保持一致
- 共同作者:Max Krasnyansky
发布包覆盖的平台
该版本提供多平台预编译包,包括macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)、Android arm64,以及Linux arm64骁龙包。
骁龙包在发布说明中标注包含CPU、Adreno GPU与Hexagon NPU,并附有Linux与Android的安装指南链接。
macOS Apple Silicon的KleidiAI版本与openEuler相关构建在发布页标注为DISABLED。