llama.cpp b12263调整CUDA显存池:分配失败时减半重试
该项目在更新说明中称,CUDA后端在cuMemAddressReserve失败时会将VMM池预留量减半并重试;在统一内存GPU上,预留量降至 8 GB。
llama.cpp发布b12263版本。该版本的更新说明显示,CUDA后端针对显存地址预留失败的情况做了调整:当cuMemAddressReserve失败时,把VMM池的预留量减半后重试。
CUDA显存池的两处改动
提交 #30542 的说明列出四项改动。其一,在统一内存(combined memory)的GPU上,因CUDA out of memory错误,将VMM池预留量下调到 8 GB。其二,在预留失败时把VMM池预留量减半并重试。
另外两项与触发条件和可观测性有关:仅当错误为CUDA_ERROR_OUT_OF_MEMORY时才缩小VMM池;当实际预留量低于最大值时输出警告日志。上述提交标注Assisted-by: Gemini Argon。
- cuMemAddressReserve失败时,VMM池预留量减半并重试
- 统一内存GPU上预留量降至 8 GB
- 仅在CUDA_ERROR_OUT_OF_MEMORY时缩小VMM池
- 预留量低于最大值时记录警告
版本与其他平台构建
发布页同时列出各平台构建产物,包括macOS(Apple Silicon arm64、Intel x64)、iOS XCFramework、Linux(CPU、Vulkan、CUDA 12.8与 13.5、ROCm 10.0、OpenVINO、SYCL、s390x等)、Android arm64、Windows(CPU、CUDA 12.4与 13.5、Vulkan、OpenVINO、SYCL、ROCm 10.0),以及UI压缩包。
发布页还标注macOS Apple Silicon的KleidiAI构建与openEuler构建为DISABLED,并附有Snapdragon在Linux与Android上的安装指南链接。
- Linux提供CUDA 12.8与CUDA 13.5两套构建及对应运行库
- Windows提供CUDA 12.4与CUDA 13.5构建及DLL
- macOS的KleidiAI启用构建与openEuler构建标注为DISABLED