开源llama.cpp Releases·原文 2026年11月11日

llama.cpp b12263调整CUDA显存池:分配失败时减半重试

该项目在更新说明中称,CUDA后端在cuMemAddressReserve失败时会将VMM池预留量减半并重试;在统一内存GPU上,预留量降至 8 GB。

llama.cpp发布b12263版本。该版本的更新说明显示,CUDA后端针对显存地址预留失败的情况做了调整:当cuMemAddressReserve失败时,把VMM池的预留量减半后重试。

CUDA显存池的两处改动

提交 #30542 的说明列出四项改动。其一,在统一内存(combined memory)的GPU上,因CUDA out of memory错误,将VMM池预留量下调到 8 GB。其二,在预留失败时把VMM池预留量减半并重试。

另外两项与触发条件和可观测性有关:仅当错误为CUDA_ERROR_OUT_OF_MEMORY时才缩小VMM池;当实际预留量低于最大值时输出警告日志。上述提交标注Assisted-by: Gemini Argon。

  • cuMemAddressReserve失败时,VMM池预留量减半并重试
  • 统一内存GPU上预留量降至 8 GB
  • 仅在CUDA_ERROR_OUT_OF_MEMORY时缩小VMM池
  • 预留量低于最大值时记录警告

版本与其他平台构建

发布页同时列出各平台构建产物,包括macOS(Apple Silicon arm64、Intel x64)、iOS XCFramework、Linux(CPU、Vulkan、CUDA 12.8与 13.5、ROCm 10.0、OpenVINO、SYCL、s390x等)、Android arm64、Windows(CPU、CUDA 12.4与 13.5、Vulkan、OpenVINO、SYCL、ROCm 10.0),以及UI压缩包。

发布页还标注macOS Apple Silicon的KleidiAI构建与openEuler构建为DISABLED,并附有Snapdragon在Linux与Android上的安装指南链接。

  • Linux提供CUDA 12.8与CUDA 13.5两套构建及对应运行库
  • Windows提供CUDA 12.4与CUDA 13.5构建及DLL
  • macOS的KleidiAI启用构建与openEuler构建标注为DISABLED

信息来源

llama.cpp Releases原始来源