llama.cpp b12080发布:CUDA后端将批量张量读取汇入映射主机内存
该版本合入PR #31391,在CUDA后端对批量张量读取做聚合:小读取走聚合拷贝,大读取使用固定内存DMA;提交说明称描述符使用 128k固定缓冲区。
llama.cpp发布b12080版本,合入master的PR #31391,主题为CUDA后端将批量张量读取汇入映射主机内存。
提交信息列出的改动包括:简化批量张量聚合索引、增加条件分派、把主机注册改为RAII、为聚合小读取并使用固定DMA处理大读取、新增 8 字节聚合拷贝、描述符改用std::vector并使用公共缓冲区、简化流同步,以及把描述符固定缓冲区增大到 128k。
提交信息中的实现调整
提交信息称,实现基于流程中已有的检查做了简化,主机注册改为RAII,并调整测试以顾及CI耗时,出错时用assert代替返回false。
提交信息还提到记录主机注册失败。
- 批量张量读取汇入映射主机内存(PR #31391)
- 小读取聚合拷贝,大读取使用固定内存DMA
- 新增 8 字节聚合拷贝
- 描述符使用std::vector与公共缓冲区
- 描述符固定缓冲区增至 128k
- 简化流同步
发布包与平台范围
发布页列出macOS/iOS、Linux、Android、Windows的预编译包,涵盖CPU、CUDA 12/CUDA 13、Vulkan、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16等变体,并提供Snapdragon的CPU、Adreno GPU、Hexagon NPU构建。
标注为DISABLED的条目包括macOS Apple Silicon的KleidiAI版本,以及openEuler各构建。