llama.cpp b11645为Metal张量API闪存注意力内核增加BF16变体
该版本发布说明显示,Metal后端新增了张量API flash attention内核的BF16变体(#30491),并把张量FA内核移动到kernels/fa_tensor.metal。
llama.cpp发布构建版本b11645。发布说明列出的代码改动为:Metal后端新增张量API flash attention内核的BF16变体(PR #30491),并将张量FA内核移动到kernels/fa_tensor.metal。
本次改动内容
根据GitHub Releases页面中github-actions[bot] 发布的说明,b11645的改动集中在Metal后端:一是为张量API的flash attention内核增加BF16变体,二是把张量FA内核移入kernels/fa_tensor.metal。
- Metal:张量API flash attention内核新增BF16变体(#30491)
- 张量FA内核被移动到kernels/fa_tensor.metal
- 以上描述来自发布说明,未附带对应测试或性能数据
随版本提供的构建产物
发布页同时提供各平台预编译包下载链接,覆盖macOS/iOS、Linux、Android和Windows,包括CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL等后端选项。
- macOS Apple Silicon(arm64)与macOS Intel(x64)、iOS XCFramework
- Linux:Ubuntu x64/arm64/s390x(CPU),以及Vulkan、CUDA、ROCm、OpenVINO、SYCL构建
- Android arm64(CPU及Snapdragon CPU/Adreno GPU/Hexagon NPU)
- Windows x64/arm64:CPU、OpenCL Adreno、CUDA、Vulkan、OpenVINO、SYCL、ROCm
- macOS Apple Silicon(arm64,KleidiAI启用)与openEuler相关产物标注为DISABLED