llama.cpp发布b11510:CUDA PAD内核改为循环处理超过 65535 行或切片
该版本唯一的变更说明是“CUDA : looped PAD kernel for more than 65535 rows or slices (#30147)”,同时照例提供macOS、Linux、Windows、Android等多平台预编译包。
AI解读:65535 是 16 位无符号整数的上限,这一改动针对的是行或切片数量超过该阈值的CUDA计算场景。来源未说明此前超过阈值时会出现何种具体错误或性能表现。
来源未给出该改动的性能数据、影响范围或验证结果,因此无法判断对推理速度或显存占用的实际影响。
该版本照例附带多平台预编译产物:macOS Apple Silicon与Intel、iOS XCFramework、Ubuntu(CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL)、Android、Windows(CPU、Vulkan、CUDA、OpenVINO、SYCL、ROCm 10.0)以及UI包。
来源还标注若干项目为DISABLED:macOS Apple Silicon的KleidiAI启用包(关联PR #23780)和openEuler相关构建(关联PR #23705)。
llama.cpp发布b11510版本,唯一的变更说明为“CUDA : looped PAD kernel for more than 65535 rows or slices (#30147)”,即把CUDA的PAD内核改为循环方式,以处理行或切片数量超过 65535 的情况。
该发布页同时列出面向macOS、iOS、Linux、Android、Windows的预编译二进制包和UI包。
本次变更
变更说明只有一条:CUDA的PAD内核改为循环实现,用于行或切片数量超过 65535 的场景。65535 是 16 位无符号整数的上限,改动意味着超过该阈值的张量维度不再受单一内核调用的限制。
来源未说明改动前在超过 65535 行或切片时会发生什么,也未提供该内核的性能或正确性测试数据。
- 变更:CUDA PAD内核改为循环方式,处理超过 65535 行或切片
- 关联PR:#30147
- 来源未给出性能数据或适用范围说明
发布产物
b11510的发布页按平台列出预编译产物,覆盖桌面、移动和多种加速后端。
其中标注为DISABLED的有两项:macOS Apple Silicon(arm64,启用KleidiAI)对应PR #23780,openEuler各构建对应PR #23705。
- macOS/iOS:Apple Silicon(arm64)、Intel(x64)、iOS XCFramework
- Linux:Ubuntu x64/arm64/s390x(CPU)、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及Linux arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU)
- Android:arm64(CPU)、arm64(Snapdragon:CPU、Adreno GPU、Hexagon NPU)
- Windows:x64/arm64(CPU)、OpenCL Adreno、CUDA 12.4、CUDA 13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0
- 另有UI包
- DISABLED:macOS Apple Silicon(KleidiAI启用,PR #23780)、openEuler(PR #23705)