llama.cpp发布b11526:修复Vulkan后端rms_norm工作组数量溢出
llama.cpp版本b11526的发布说明显示,本次变更标题为“vulkan: fix rms_norm workgroup count overflow (#30145)”,同时提供覆盖macOS、Linux、Windows、Android等平台的预编译包。
AI解读:该版本同时提供多平台预编译包,包括macOS(Apple Silicon arm64、Intel x64)、iOS XCFramework、Linux(Ubuntu x64/arm64/s390x)、Android arm64、Windows(x64/arm64)以及UI包。
Linux和Windows的构建涵盖CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO、SYCL等不同后端或加速配置,并单独提供部分CUDA运行时库文件。
macOS的“Apple Silicon (arm64, KleidiAI enabled)”包与openEuler相关构建在本次发布中被标记为DISABLED,并分别附有对应PR链接。
Android与Linux arm64的Snapdragon构建提供CPU、Adreno GPU、Hexagon NPU版本,并链接到单独的安装说明文档。
发布说明未给出该修复的适用模型规模、性能数据或验证结果,因此无法据此判断影响范围或收益。
llama.cpp发布了b11526版本。该版本发布说明中列出的唯一改动标题为“vulkan: fix rms_norm workgroup count overflow (#30145)”,即修复Vulkan后端rms_norm的workgroup count溢出问题。
发布页面同时列出了该版本在macOS、iOS、Linux、Android、Windows、openEuler等平台的多项预编译产物,以及单独的UI包。
修复内容
发布说明的改动条目为:vulkan: fix rms_norm workgroup count overflow (#30145)。该条目未在发布页提供更多细节,因此关于影响的具体模型、上下文长度或硬件条件无法从该来源确认。
平台与后端产物
该版本按平台和加速后端提供预编译包。
- macOS/iOS:macOS Apple Silicon (arm64)、macOS Intel (x64)、iOS XCFramework。
- Linux:Ubuntu x64(CPU)、Ubuntu arm64(CPU)、Ubuntu s390x(CPU)、Ubuntu x64/arm64(Vulkan)、Ubuntu x64(CUDA 12,对应CUDA 12.8)、Ubuntu x64/arm64(CUDA 13,对应CUDA 13.4)、Ubuntu x64(ROCm 10.0)、Ubuntu x64(OpenVINO)、Ubuntu x64(SYCL FP32)、Ubuntu x64(SYCL FP16)。
- Android:Android arm64(CPU)、Android arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU)。
- Windows:Windows x64/arm64(CPU)、Windows arm64(OpenCL Adreno)、Windows x64(CUDA 12.4)、Windows x64/arm64(CUDA 13.4)、Windows x64/arm64(Vulkan)、Windows x64(OpenVINO)、Windows x64(SYCL)、Windows x64(ROCm 10.0)。
- Linux arm64提供Snapdragon版本(CPU、Adreno GPU、Hexagon NPU)。
- CUDA相关包同时提供对应版本的运行时库文件(CUDA 12.8、CUDA 13.4以及Windows CUDA 12.4 DLLs、CUDA 13.4 DLLs)。
- openEuler:x86(310p)、x86(910b, ACL Graph)、aarch64(310p)、aarch64(910b, ACL Graph)。
被禁用的构建
发布说明中标记为DISABLED的项目如下,并附有对应PR链接。
- macOS Apple Silicon (arm64, KleidiAI enabled):DISABLED,链接到PR #23780。
- openEuler:DISABLED,链接到PR #23705。