llama.cpp b12261发布:mtmd子上下文共享计算缓冲区
llama.cpp发布b12261版本,mtmd改动让多个子上下文共用同一计算缓冲区,并为音频生成增加加载时分配。
AI解读:llama.cpp发布b12261版本,提交说明中的改动主题是“mtmd: share compute buffer among subcontext”(#31945)。
提交说明列出两项内容:在子上下文之间共享计算缓冲区;为音频生成增加加载时分配(load-time alloc)。
发布页按平台提供预编译包,覆盖macOS/iOS、Linux、Android、Windows和openEuler等平台,并包含多种后端(CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL等)。
macOS Apple Silicon的KleidiAI启用版本和openEuler构建在本次发布中标注为DISABLED。
来源只给出提交说明和构建清单,没有提供共享缓冲区带来的显存或内存占用变化、性能数据或影响的模型范围。
llama.cpp发布b12261版本。发布说明中的改动主题为“mtmd: share compute buffer among subcontext”(#31945),提交说明列出的内容包括在子上下文之间共享计算缓冲区,以及为音频生成增加加载时分配。
本次提交改了什么
该版本对应PR #31945,提交说明简短列出两点:shared compute buffer(共享计算缓冲区),以及add load-time alloc for audio gen(为音频生成增加加载时分配)。
- 改动主题:mtmd子上下文共享计算缓冲区。
- 附加改动:音频生成增加加载时分配。
- 来源未说明涉及的模型类型、后端范围或具体收益。
发布包覆盖范围
发布页列出了面向多个平台和后端的预编译包,包括macOS Apple Silicon(arm64)与Intel(x64)、iOS XCFramework、Ubuntu(x64/arm64/s390x,含CPU、Vulkan、CUDA 12.8、CUDA 13.5、ROCm 10.0、OpenVINO、SYCL FP32/FP16等)、Linux arm64骁龙(CPU、Adreno GPU、Hexagon NPU)、Android arm64、Windows(CPU、CUDA 12.4/13.5、Vulkan、OpenVINO、SYCL、ROCm 10.0、OpenCL Adreno)以及UI包。
- macOS Apple Silicon的KleidiAI启用版本标注为DISABLED(指向PR #23780)。
- openEuler各构建项(x86/aarch64的 310p、910b ACL Graph)本次标注为DISABLED(指向PR #23705)。
- 发布页附带CUDA 12.8/13.5、CUDA 12.4/13.5等运行库独立压缩包。