该版本唯一列出的改动是内存优化——为索引器(indexer)避免分配未被使用的V cache,由Stanisław Szymczyk参与提交(#28330)。
阅读全文开源项目
关注开放的模型、工具与代码,找到值得动手的项目。
llama.cpp b10888为Vulkan后端加入命令缓冲调试标签
llama.cpp新构建b10888的唯一功能改动是在Vulkan后端添加命令缓冲调试标签,方便GPU性能分析器识别队列中的命令来源。
阅读全文llama.cpp发布b10887:为s390x架构的q4_0量化加入repack支持
llama.cpp新构建版本b10887的主要代码变更为在ggml-cpu的s390x平台上为q4_0量化添加repack支持(#28667),同时清理了ggml-cpu的注释,由Aaron Teo提交。
阅读全文llama.cpp发布b10886:为s390x架构补上Q1_0向量点积支持
该版本由Aaron Teo提交 #28606,在ggml-cpu中新增ggml_vec_dot_q1_0_q8_0的s390x向量内建实现,并同步更新Q1_0支持状态文档。
llama.cpp b10885修复Granite全家桶参数量统计
Aaron Teo提交的PR #28643 修正llama.cpp中所有Granite系列模型的参数计数,同时补上活跃专家缺失的“A”前缀并删除无用的 40 块分支代码。
蚂蚁灵波开源1.3B轻量版LingBot-World 2.0,面向消费级单卡实时世界生成
该版本是7月开源14B主模型的轻量版,官方称面向消费级单卡GPU设计、可在本地实时生成世界;同期开源的还有Causal Pretrain与双向Teacher两个上游模型。
LiteLLM发布v1.101.0-rc.2,向rc/1.101.0回移MongoDB sidecar等改动
该候选版本由yuneng-berri提交五个回移PR,涵盖MongoDB sidecar、租户trace目标、团队管理回调等;LiteLLM称所有Docker镜像均由cosign签名,可用固定commit哈希或release tag验证。
ONNX Runtime发布v1.29.1补丁版,新增双向GroupQueryAttention支持
该补丁版在v1.29.0基础上改进GroupQueryAttention能力与KV-cache布局,更新插件Execution Provider性能工具,并修复图谱与优化器问题。
AsyncGRPOTrainer支持跨HF Jobs只同步LoRA适配器,500 步训练从 3 小时 27 分缩至 53 分
TRL v1.14的异步GRPO训练器现在可以只训练LoRA适配器并仅把它同步给vLLM。一个rank-1适配器只有几MB,可以经Storage Bucket在多个Hugging Face Job之间传递,绕开需要共享节点或NCCL的全权重同步。
OpenAI Codex 0.154.0发布:新增GPT-6-Astra模型与实验性worktree支持
本次更新在模型选择器和Amazon Bedrock中引入GPT-6-Astra,新增实验性worktree功能,并改进Windows后台服务与Vim编辑体验。
LangChain OpenAI集成更新至 1.6.2,新增GPT-6 Astra推理力度支持
langchain-openai库发布 1.6.2 补丁,修复GPT-6 Astra的reasoning efforts支持,并升级httpx2依赖。
Claude Code v2.1.267发布:新增maxEffortLevel设置,修复多项会话恢复与提示缓存问题
Anthropic发布Claude Code v2.1.267,新增maxEffortLevel设置以统一限制各提供商的推理投入水平,并修复了包括大型会话恢复、提示缓存失效、远程会话输入在内的数十项问题。
ComfyUI v0.35.0发布:新增Comfy Compiler、Sparse Attention节点,扩展多模型支持
开源节点式AI工具ComfyUI发布v0.35.0,引入Comfy Compiler优化器、Sparse Attention节点、3D文件导入,并新增多款合作模型支持;同时修复了容器内存限制识别、Alpha通道处理等多项问题。
llama.cpp b10883发布:Vulkan矩阵乘法改用规范常量并修复Ampere回归
新版本以Vulkan后端优化为主,引入规范常量处理矩阵乘法A类型,并针对Ampere架构回归拆分着色器进行修复。
Hugging Face Transformers 5.17.0发布:新增HYV4、VibeVoice、NeoMME等模型支持
更新加入Hy4-Preview 780B MoE模型、阿里Fun-ASR-Nano语音识别等六个新模型,并统一视觉旋转嵌入、优化生成性能。
llama.cpp b10881发布:修复Intel GPU运行Qwen3时Vulkan FILL越限问题
新版本将FILL工作负载改为二维分布,解决Intel显卡在运行Qwen3时因超出Vulkan工作组数量上限导致的报错,并同步更新多平台二进制。
OpenAI Python SDK v3.11.0发布:新增服务账户密钥过期控制
OpenAI Python SDK发布v3.11.0,新增服务账户密钥过期控制功能,于 2026-09-09 发布。
Hugging Face accelerate v1.15.0发布:削减FSDP2长序列激活内存并改进DTensor
新版本修复了FSDP2激活检查点导致的高内存占用问题,新增显存卸载选项,并支持Neuron动态编译后端。
llama.cpp发布b10878:调整采样器链计数函数返回类型
llama.cpp最新版本b10878将llama_sampler_chain_n的返回类型改为int32_t,并同步更新了各平台的预编译二进制文件。
llama.cpp b10877发布:改进RDNA3显卡上路由MoE模型的CUDA性能
新版本调整了CUDA中routed MoE模型在AMD RDNA3显卡上的MMQ内核tile尺寸选择,并发布了各平台预编译二进制。
llama.cpp b10876发布:用GGML_FA_QUANTS替换GGML_FA_ALL_QUANTS,细粒度控制CUDA编译
新版本允许用户选择要编译的Flash Attention量化组合,未编译的组合将在运行时回退并给出警告。
llama.cpp b10875发布:--mmap、--mlock等命令行参数正式弃用
该版本将 --mmap、--mlock和 --dio参数标记为正式弃用,同时提供面向macOS、Linux、Windows、Android及多种硬件加速后端的新预编译包。
llama.cpp b10874发布:修复Granite3 MoE未知参数计数问题
llama.cpp发布b10874版本,主要修复Granite3 MoE模型中未知参数数量统计错误的问题。
llama.cpp b10873发布:修复mtmd视频ID传递问题
llama.cpp发布b10873版本,主要修复了mtmd模块中视频ID传播到位图的问题,同时提供了多平台预编译二进制文件。
vLLM v0.29.0发布:Model Runner V2成为所有模型默认运行器
该版本包含 594 次提交、277 名贡献者(其中 91 名新贡献者),新增Hy4-preview、Qwen3.8-Flash-Next等模型支持,并移除了十个已弃用的模型架构。
llama.cpp b10872发布:修复Jinja模板中in运算符对null值的报错
最新版本将null左操作数的in视为普通查找,与Jinja行为一致,并更新多平台预编译二进制。
llama.cpp b10871发布:为RDNA4显卡新增Vulkan专用iq4_xs矩阵-向量着色器
新版为dmmv路径加入专用mul_mat_vec_iq4_xs着色器,取代通用回退逻辑,据称可在RDNA4上带来约 6% 到 17% 的token生成速度提升,具体取决于模型。
llama.cpp b10870发布:Vulkan后端新增f16 B型矩阵乘法管线
该版本为Vulkan后端引入f16 B型矩阵乘法管线,并针对Intel coopmat1调整warp tile大小;密集矩阵乘法在所有厂商GPU上启用,MoE仍限于Intel。
llama.cpp发布b10869:优化测试数据初始化线程使用,更新各平台二进制
本次更新主要重构测试数据初始化逻辑,根据元素数量动态调整线程数以提高测试效率;同时提供覆盖macOS、Linux、Windows、Android等多平台的预编译二进制。
LiteLLM发布v1.102.0-dev.1,所有Docker镜像改用cosign签名验证
该开发版延续commit 0112e53引入的同一签名密钥,并合入policy_engine、router、MCP、UI等大量改动,包括流式响应上执行post_call护栏、MCP静态请求头加密、MongoDB向量搜索迁至可选sidecar(BETA)。