llama.cpp发布b11534:CUDA后端去除SSM_SCAN后的冗余拷贝
该版本由GitHub Actions自动发布,主要变更是在CUDA后端把SSM_SCAN更新后的状态快照拷贝融合进recurrent cache。
AI解读:llama.cpp发布b11534版本,发布页面由github-actions[bot] 生成,来源为项目Releases页。
本次变更说明为CUDA: Remove redundant CUDA copies after SSM_SCAN(#29807)。
具体改动有两点:把更新后状态快照的拷贝与ssm_scan融合进recurrent cache;在K==1(非speculative decoding)场景下也移除冗余CUDA拷贝。
发布页同时列出了macOS/iOS、Linux、Android、Windows、openEuler和UI等多个平台与后端的预编译产物链接。
来源未给出性能收益数字、测试结果或适用模型范围,因此无法据此判断加速幅度或对各后端的影响。
llama.cpp发布了b11534版本,发布说明中记录的主要变更是CUDA后端去除SSM_SCAN之后的冗余CUDA拷贝(#29807)。
该发布由github-actions[bot] 提交,形式为带预编译产物的版本发布。
本次代码变更内容
发布说明列出的变更为CUDA: Remove redundant CUDA copies after SSM_SCAN(#29807),包含两条要点:其一,把更新后状态快照的拷贝与ssm_scan融合进recurrent cache;其二,在K==1(非speculative decoding)场景下也移除冗余CUDA拷贝。
- 变更标题:CUDA: Remove redundant CUDA copies after SSM_SCAN
- PR编号:#29807
- 要点一:将更新后状态快照的拷贝融合进recurrent cache,与ssm_scan一起完成
- 要点二:在K==1(非spec-dec)场景下同样移除冗余CUDA拷贝
发布产物范围
发布页列出了面向多个平台与后端的产物链接,覆盖macOS/iOS、Linux、Android、Windows、openEuler和UI。其中部分构建被标注为DISABLED,例如macOS Apple Silicon的KleidiAI启用版本,以及openEuler的产物。
- macOS/iOS:Apple Silicon (arm64)、Intel (x64)、iOS XCFramework;KleidiAI启用版本标记为DISABLED
- Linux:Ubuntu x64/arm64/s390x (CPU)、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及Snapdragon(CPU、Adreno GPU、Hexagon NPU)
- Android:arm64 (CPU) 与Snapdragon(CPU、Adreno GPU、Hexagon NPU)
- Windows:x64/arm64 (CPU)、OpenCL Adreno、CUDA 12.4、CUDA 13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0
- openEuler:x86/aarch64的 310p与 910b (ACL Graph) 产物链接被标注为DISABLED
- 另有独立的UI打包产物