llama.cpp发布b11499:CUDA后端改用字节步长支持非连续ROLL
该版本由项目构建机器人发布,主要改动是CUDA的ROLL操作改用字节步长,以支持非连续张量;同时提供macOS、Linux、Windows、Android、openEuler等多平台预编译包。
AI解读:发布内容同时列出多平台预编译二进制包,涵盖macOS/iOS、Linux(含CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL)、Android、Windows以及openEuler相关构建。
其中部分构建被标注为DISABLED:macOS Apple Silicon的KleidiAI启用版本被禁用,openEuler构建整体被禁用。
来源仅给出改动标题与构建清单,未提供性能数据、兼容性范围或对具体模型的影响说明,因此无法据此判断该改动带来的实际效果。
llama.cpp发布b11499版本,发布说明中列出的唯一代码改动是CUDA后端的ROLL操作改用字节步长(byte strides),以支持非连续的ROLL操作,对应PR #29547。
b11499的代码改动
发布说明中唯一标注的代码改动为“cuda : Use byte strides for roll to allow non-contiguous ROLL operations (#29547)”。按字面含义,这一改动针对CUDA后端,目的是让ROLL操作可以作用于非连续张量。
- 标题:cuda : Use byte strides for roll to allow non-contiguous ROLL operations
- 对应PR编号:#29547
- 发布方:llama.cpp Releases(发布说明由github-actions[bot] 账号发布)
随版本提供的构建
b11499随版本发布了一批预编译包,覆盖macOS/iOS、Linux、Android、Windows与openEuler等平台,构建后端包括CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL,以及针对高通Snapdragon的CPU、Adreno GPU、Hexagon NPU组合构建。此外还单独提供UI包。
- macOS/iOS:Apple Silicon (arm64)、Intel (x64)、iOS XCFramework
- Linux:Ubuntu x64/arm64/s390x CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及Linux arm64 Snapdragon构建
- Android:arm64 CPU、arm64 Snapdragon(CPU、Adreno GPU、Hexagon NPU)
- Windows:x64/arm64 CPU、arm64 OpenCL Adreno、CUDA 12.4、CUDA 13.4、Vulkan、OpenVINO、SYCL、ROCm 10.0
- openEuler:x86/aarch64的 310p与 910b(ACL Graph)构建
- Linux与Android的Snapdragon构建附有对应的setup guide链接
被标记为禁用的构建
发布清单中有两项被标注为DISABLED:macOS Apple Silicon(arm64,KleidiAI启用)版本,以及openEuler构建。发布说明未在本次来源中给出禁用的原因说明。
- macOS Apple Silicon (arm64, KleidiAI enabled):DISABLED,关联PR #23780
- openEuler:DISABLED,关联PR #23705