llama.cpp发布b11792:调整d2t摆放位置使其可留在GPU上
llama.cpp的GitHub发布页显示,b11792版本包含一项llama相关改动(#30912),将d2t放到其set_rows使用处,以便它继续留在GPU上;同一发布页列出了各平台预编译包。
AI解读:按发布页标题描述,本次改动针对llama中d2t与set_rows的位置关系,目标是让d2t留在GPU上,而不是被移出GPU。
发布页没有给出速度、显存占用或精度方面的前后对比数据,因此这次改动带来的实际效果目前只能以提交说明为范围,不能据此推断性能提升幅度。
同页发布的预编译包覆盖macOS(Apple Silicon、Intel)、iOS、Linux(含CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、Snapdragon等构建)、Android、Windows和UI;macOS上KleidiAI构建与openEuler构建标注为DISABLED。
llama.cpp发布版本b11792。发布页中列出的改动标题为“llama : place d2t by its set_rows use so it can stay on the GPU (#30912)”,即把d2t安排到使用它的set_rows附近,使其能够留在GPU上。
该发布页同时提供面向多平台和多种后端的预编译产物下载。
改动内容与发布页标注
发布说明只包含上述一条改动标题和下载列表,没有展开实现细节、受影响模型或后端范围。从标题可确认的动作对象是d2t与set_rows,改动目的是让d2t留在GPU上执行;这一表述属于项目方发布说明,未见独立验证。
发布页未附基准测试、显存读数或正确性对比,因此无法从现有材料判断该改动对推理速度或输出质量的具体影响。
- 版本号:b11792
- 改动编号:#30912
- 改动主题:llama中d2t的放置位置
随版本提供的构建与下载
发布页按平台列出构建产物:macOS/iOS包括Apple Silicon arm64、Intel x64和iOS XCFramework;macOS Apple Silicon的KleidiAI版本标注为DISABLED。Linux覆盖Ubuntu x64、arm64、s390x的CPU构建,以及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16构建,另有Snapdragon的CPU、Adreno GPU、Hexagon NPU组合包。
Windows列出CPU(x64、arm64)、OpenCL Adreno arm64、CUDA 12.4、CUDA 13.4、Vulkan、OpenVINO 2026.4.1与SYCL构建;Android提供arm64 CPU和Snapdragon组合包;openEuler各构建均标注为DISABLED。下载列表中还包括UI包。
- macOS/iOS:Apple Silicon arm64、Intel x64、iOS XCFramework;KleidiAI版本DISABLED
- Linux:Ubuntu x64/arm64/s390x CPU,以及Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO 2026.4.1、SYCL FP32/FP16、Snapdragon组合包
- Windows:CPU、OpenCL Adreno、CUDA 12.4/13.4、Vulkan、OpenVINO、SYCL
- Android:arm64 CPU与Snapdragon组合包
- openEuler:全部DISABLED