llama.cpp新构建b11517的CUDA改动为 #30168,作者ynankani将src1精度传入主机端MMQ配置辅助函数,并使其显式化;发布页同时列出各平台预编译包下载。
阅读全文开源项目
关注开放的模型、工具与代码,找到值得动手的项目。
llama.cpp b11516修复Hexagon NPU上IM2COL DMA环形缓冲区溢出
该版本修复了骁龙Hexagon NPU上IM2COL exact-tiling内核在IC*KH超过 255 时丢弃DMA传输、导致输出混入NaN/inf的问题,并新增了会触发该缺陷的测试用例。
阅读全文ONNX Runtime 1.31.0发布:模型包API与EPContext回调转为稳定接口
微软onnxruntime发布 1.31.0,将模型包API和EPContext数据回调提升为稳定的C/C++接口,同时改进CPU会话初始化与量化MoE推理、扩展基于设备的执行提供程序选择。发布说明称变更自 1.30.0 起,CUDA与WebGPU内核细节由其插件EP单独发布。
阅读全文llama.cpp发布b11515:SYCL后端加入Q5_K重排布局MMVQ与融合GLU
该版本的主要代码变更是为SYCL后端实现Q5_K量化格式的重排布局矩阵乘向量(MMVQ)与融合GLU算子,发布页同时列出macOS、Linux、Windows、Android等平台的预编译包。
ONNX Runtime发布CUDA Plugin EP 0.3.0:新增稀疏注意力与连续批处理,INT2与混合位宽QMoE可执行
该版本仍要求ONNX Runtime核心最低 1.24.4,但发布说明指出,满足最低版本不保证贡献算子的兼容性;核心与插件必须使用同一套贡献算子schema,建议从同一ONNX Runtime revision构建,匹配版本为 1.31.0。
LangChain发布 1.4.4:摘要中间件在上下文溢出时重试摘要步骤
LangChain 1.4.4相对 1.4.3 的发布说明显示,本次包含一项fix和多项依赖版本更新,其中SummarizationMiddleware在上下文溢出时会重试摘要步骤。
Anthropic推出OSS Scanner,免费为开源项目做AI安全扫描
Anthropic称,选择加入的开源项目将获得由其“最强模型”定期执行的安全扫描,报告完全由模型生成,不含人工审核或分诊。

llama.cpp发布b11514,修复Musa后端FWHT
llama.cpp版本b11514的发布说明仅列出一项变更:Musa FWHT修复(#30167),同时提供macOS、Linux、Windows、Android等多平台预编译包。
LangChain发布langchain-core 1.6.9:with_retry支持传入可调用对象
LangChain发布langchain-core 1.6.9版本,相比 1.6.8 的主要变化是with_retry现在可以接受callable。#41158 的标题写明这是新增功能。
llama.cpp b11513改进CUDA top-k算法选择,qwen4exp测试耗时降至 941.8 ms
该版本用按行网格的基数选择替换CUB逐行DeviceTopKKernel,并改为按形状选择TOP_K实现;发布说明称在 34,816 tokens的qwen4exp上,top-k启动次数从 1,671,253 降至 2,329,耗时从 5,761.8 ms降至 941.8 ms。
llama.cpp b11512修复DFlash输出头共享问题
llama.cpp发布b11512版本,主要修复合入PR #30111 的DFlash输出头共享问题:从GGUF metadata读取tied输出权重、共享tied词嵌入metadata,并移除DFlash嵌入头fallback。
llama.cpp发布b11511:修复CUDA后端MMQ越界读取
该版本由仓库自动化账号发布,变更条目为“CUDA: fix MMQ out-of-bounds reads (#29953)”,即针对CUDA后端MMQ的越界读取问题;同时按平台提供CPU、CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO等预编译包。
llama.cpp发布b11510:CUDA PAD内核改为循环处理超过 65535 行或切片
该版本唯一的变更说明是“CUDA : looped PAD kernel for more than 65535 rows or slices (#30147)”,同时照例提供macOS、Linux、Windows、Android等多平台预编译包。
LangChain发布langchain-openai 1.7.0,新增Decisions API支持
LangChain在GitHub发布了langchain-openai 1.7.0,主要变更为支持Decisions API,同时将langgraph-sdk、pyjwt、urllib3三个依赖升级到新版本。
llama.cpp b11509修复CUDA构建中CCCL版本判断在跨大版本时误判的问题
该版本修正了argsort的CCCL版本守卫:原先分别比较主版本与次版本,在CCCL 4.x上会误判为不满足条件,导致strided iterator路径被静默禁用、回退到init_offsets,形成无编译报错的性能损失。
LangChain发布langchain-core 1.6.8,加固IPv6 SSRF检查
该版本在 1.6.7 之后加入两项改动:发布 1.6.8(#41153),并修复针对作用域与兼容IPv6地址的SSRF检查(#41151)。
llama.cpp b11507发布:支持MoE缓存跨多GPU
llama.cpp发布b11507版本,主要变更为支持MoE缓存跨多个GPU,由PR #30112 引入;该版本同时提供macOS、Linux、Windows、Android等多平台构建包。
llama.cpp b11505修复Vulkan后端TOP_K对 +inf/NaN输入和k=1 负值的处理
该版本改动topk_nary_search.comp的桶搜索范围与k=1 路径的比较方式,并新增test_top_k_inf测试,覆盖k=1、10、40。
llama.cpp发布b11503:更新cpp-httplib至 0.60.1
该版本唯一列出的代码变更是将vendored依赖cpp-httplib升级到 0.60.1(PR #30134,由Adrien Gallouët提交),同时继续提供多平台预编译包。
llama.cpp发布b11501,SYCL后端加入FWHT优化
llama.cpp新构建b11501的更新项为sycl: FWHT optimizations(#29605),发布页同时列出macOS、Linux、Windows、Android等多平台二进制包,其中macOS Apple Silicon的KleidiAI版本和openEuler包标记为DISABLED。
llama.cpp发布b11500版本,修复hex-mmadd融合bias-add的对齐读写假设
该版本由发布机器人自动生成,核心变更是一条代码提交:hex-mmadd在融合bias-add时不再假设读写地址对齐(#30133)。
llama.cpp发布b11499:CUDA后端改用字节步长支持非连续ROLL
该版本由项目构建机器人发布,主要改动是CUDA的ROLL操作改用字节步长,以支持非连续张量;同时提供macOS、Linux、Windows、Android、openEuler等多平台预编译包。
llama.cpp发布b11498:修复CUDA上norm系列kernel在ne[2]/ne[3] 超出grid维度限制时的问题
该版本由仓库自动化账号github-actions[bot] 发布,变更条目为 “CUDA: fix norm family kernels when ne[2]/ne[3] exceed grid dim limits (#28175)”,同时提供macOS、Linux、Windows、Android等多平台预编译包。
llama.cpp b11497发布:SYCL后端融合delta-net alpha gate(add+unary+mul)
llama.cpp发布b11497版本,提交说明称在SYCL后端将delta-net的alpha gate的加法、一元运算与乘法三步融合为单条计算链,并新增覆盖该融合链的测试,同时为该融合alpha gate提供flat path并固定节点跳过。
llama.cpp b11496发布:SYCL后端模型加载改用固定环形缓冲区批量上传
该版本由cwriter合入PR #29608,将SYCL后端的模型加载批量上传改为通过固定(pinned)环形缓冲区分阶段进行;版本同时提供macOS、Linux、Windows、Android等多平台预编译包。
LiteLLM发布v1.105.0-rc.3,回迁 /v1/decisions等Decisions接口
该候选版本将 /v1/systemone、OpenAI格式的 /v1/decisions以及openai Decisions provider回迁至rc/1.105.0分支,发布说明同时给出用cosign校验镜像签名的两种方法。
llama.cpp发布b11494:CUDA后端GDN状态列改为每warp四列
该版本将ggml-cuda中GDN状态列的分配从每warp两列改为四列,并在S_v=128 时采用,默认cols_per_warp=4。
OpenAI Python SDK发布v3.26.1,修复自定义语音创建参数错误
该版本由openai-sdks[bot] 于 2026-10-08 发布,仅包含一项针对API自定义语音创建参数的bug修复,涉及issue #4038。
llama.cpp b11493为SYCL后端加入分组MoE XMX GEMM
该版本发布说明中唯一列出的代码变更是sycl后端新增分组MoE XMX GEMM(PR #29245,由cwriter共同提交),其余内容为各平台预编译产物的下载链接。
LiteLLM发布v1.102.4,回填PR #44508 至stable/1.102.x
这是LiteLLM的一次补丁版本发布,发布说明列出的唯一变更是将PR #44508 回填(backport)到stable/1.102.x分支并切出 1.102.4;Docker镜像沿用cosign签名验证,官方给出基于固定commit哈希和release tag两种核验方式。