llama.cpp b11717为Hexagon后端加入Hadamard与Q1_0/Q2_0行读取支持
该版本在Hexagon上支持hadamard MUL_MAT,并为flat和tiled Q1_0、Q2_0增加GET_ROWS;同时减少了q8_1量化器与vec_dot_q1的数据包数量。
AI解读:llama.cpp发布b11717版本,提交说明称Hexagon后端新增了hadamard MUL_MAT支持。
同一提交为flat和tiled两种布局的Q1_0、Q2_0增加了GET_ROWS支持。
改动还包括减少q8_1量化器和vec_dot_q1中的数据包数量,提交由Max Krasnyansky等共同完成。
发布页列出了macOS、iOS、Linux、Android、Windows等多平台二进制包,其中Snapdragon包标注包含CPU、Adreno GPU和Hexagon NPU后端。
llama.cpp发布b11717版本。发布说明中的提交信息显示,Hexagon后端新增了对hadamard MUL_MAT的支持,并为flat与tiled布局的Q1_0、Q2_0增加了GET_ROWS支持。
Hexagon后端的具体改动
提交信息列出三项改动:为hadamard运算增加支持;减少q8_1量化器和vec_dot_q1中的数据包数量;为Q1_0和Q2_0增加flat与tiled两种布局的GET_ROWS支持。
该提交由Max Krasnyansky等人共同完成,关联拉取请求编号为 #30627。
- 新增hadamard MUL_MAT支持
- 减少q8_1量化器和vec_dot_q1的数据包数量
- Q1_0、Q2_0的GET_ROWS覆盖flat和tiled布局
发布包与平台
发布页按平台列出二进制包,包括macOS Apple Silicon、macOS Intel、iOS XCFramework、Ubuntu的x64/arm64/s390x以及Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO、SYCL等变体。Android和Windows也提供对应包。
其中Linux arm64与Android arm64的Snapdragon包标注同时包含CPU、Adreno GPU和Hexagon NPU后端,并附有对应安装指南。macOS Apple Silicon的KleidiAI版本和openEuler相关构建在发布页标注为DISABLED。
- Snapdragon包覆盖CPU、Adreno GPU、Hexagon NPU
- KleidiAI版macOS包与openEuler构建标注为DISABLED