llama.cpp发布b12144:CUDA后端为MoE数据布局做线性化,修复F16性能回退
该版本合并PR #31047,针对MMQ/MMF在CUDA上的MoE数据布局做线性化,并将MMQ tile尺寸优化推广到更一般情况,同时修复一处F16性能回退;发布页同步给出各平台预编译包。
llama.cpp发布b12144版本,发布说明记录的改动为合并PR #31047,主题是CUDA后端下MMQ/MMF的MoE数据布局线性化。
同一PR还提到“更普遍地应用MMQ tile尺寸优化”,以及“修复F16性能回退”。
CUDA改动内容
发布说明以“CUDA: linearize MoE data layout for MMQ/MMF (#31047)”作为b12144的条目,后面列出三条子项:线性化MoE数据布局、推广MMQ tile尺寸优化、修复F16性能回退。
这些描述来自发布页的变更条目本身,页面未给出具体性能数字或受影响模型范围。
- PR编号:#31047
- 涉及后端:CUDA
- 涉及组件:MMQ、MMF、MoE数据布局
- 附带修复:F16性能回退
构建产物与平台
发布页按平台列出预编译包下载链接,包括macOS Apple Silicon(arm64)与macOS Intel(x64)、iOS XCFramework、Ubuntu多个变体(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Android arm64、Windows x64/arm64(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)以及UI包。
其中macOS Apple Silicon的KleidiAI版本与openEuler相关构建标注为DISABLED,页面分别链接到PR #23780 与PR #23705。
- macOS Apple Silicon(arm64,KleidiAI enabled):DISABLED
- openEuler条目:DISABLED
- 提供CUDA 12.8、CUDA 13.4及对应库文件下载