开源llama.cpp Releases·原文 2026年10月9日

llama.cpp发布b11510:CUDA PAD内核改为循环处理超过 65535 行或切片

该版本唯一的变更说明是“CUDA : looped PAD kernel for more than 65535 rows or slices (#30147)”,同时照例提供macOS、Linux、Windows、Android等多平台预编译包。

AI解读:65535 是 16 位无符号整数的上限,这一改动针对的是行或切片数量超过该阈值的CUDA计算场景。来源未说明此前超过阈值时会出现何种具体错误或性能表现。

来源未给出该改动的性能数据、影响范围或验证结果,因此无法判断对推理速度或显存占用的实际影响。

该版本照例附带多平台预编译产物:macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL)、Android、Windows(CPU、Vulkan、CUDA、OpenVINO、SYCL、ROCm 10.0)以及UI包。

来源还标注若干项目为DISABLED:macOS Apple Silicon的KleidiAI启用包(关联PR #23780)和openEuler相关构建(关联PR #23705)。

llama.cpp发布b11510版本,唯一的变更说明为“CUDA : looped PAD kernel for more than 65535 rows or slices (#30147)”,即把CUDA的PAD内核改为循环方式,以处理行或切片数量超过 65535 的情况。

该发布页同时列出面向macOS、iOS、Linux、Android、Windows的预编译二进制包和UI包。

本次变更

变更说明只有一条:CUDA的PAD内核改为循环实现,用于行或切片数量超过 65535 的场景。65535 是 16 位无符号整数的上限,改动意味着超过该阈值的张量维度不再受单一内核调用的限制。

来源未说明改动前在超过 65535 行或切片时会发生什么,也未提供该内核的性能或正确性测试数据。

  • 变更:CUDA PAD内核改为循环方式,处理超过 65535 行或切片
  • 关联PR:#30147
  • 来源未给出性能数据或适用范围说明

发布产物

b11510的发布页按平台列出预编译产物,覆盖桌面、移动和多种加速后端。

其中标注为DISABLED的有两项:macOS Apple Silicon(arm64,启用KleidiAI)对应PR #23780,openEuler各构建对应PR #23705。

  • macOS/iOS:Apple Silicon(arm64)、Intel(x64)、iOS XCFramework
  • Linux:Ubuntu x64/arm64/s390x(CPU)、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及Linux arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU)
  • Android:arm64(CPU)、arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU)
  • Windows:x64/arm64(CPU)、OpenCL Adreno、CUDA 12.4、CUDA 13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0
  • 另有UI包
  • DISABLED:macOS Apple Silicon(KleidiAI启用,PR #23780)、openEuler(PR #23705)

信息来源

llama.cpp Releases原始来源