llama.cpp b11619移除嵌入图末尾冗余的t_embd扩展
llama.cpp发布b11619,提交 #30461 移除嵌入模型图末尾的t_embd扩展;该改动称build_pooling() 已对每种池化类型展开输出,因此模型图末尾的扩展属于冗余。
AI解读:提交说明给出的理由有两点:这些图只用于生成嵌入;build_pooling() 已经对每种池化类型展开其输出,因此模型图末尾的扩展是冗余的。
发布页同时照例列出各平台预编译产物,覆盖macOS/iOS、Linux、Android、Windows、openEuler及Web UI;macOS KleidiAI版本与openEuler相关产物标记为DISABLED。
这是一项代码级精简改动,发布说明未给出速度、内存或质量方面的实测数据,也未说明对具体模型嵌入结果的影响范围。
llama.cpp发布b11619,主要变更是移除嵌入图末尾的t_embd扩展,对应提交 #30461。
提交说明称,这些图只产生嵌入,而build_pooling() 已经为每种池化类型展开输出,所以模型图末尾的这层扩展是多余的。
b11619的代码改动
提交 #30461 标题为“models: drop the t_embd expand of the embedding graphs”,改动对象是嵌入模型图中位于末尾的t_embd扩展。
作者在说明中解释:这些图只输出嵌入,而build_pooling() 已对每一种池化类型扩展其输出,因此模型图末尾再做一次扩展属于冗余。
同批发布的平台产物
发布页按平台列出预编译产物,包括macOS Apple Silicon(arm64)与macOS Intel(x64)、iOS XCFramework,以及Ubuntu的CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO、SYCL FP32/FP16等版本。
Windows侧提供CPU、OpenCL Adreno、CUDA 12、CUDA 13、Vulkan、OpenVINO、SYCL、ROCm 10.0等x64与arm64组合;Android与Linux arm64另有面向Snapdragon的CPU、Adreno GPU、Hexagon NPU版本。
发布页将macOS Apple Silicon的KleidiAI enabled版本与openEuler各项标注为DISABLED。