该版本在ggml-cpu中为 __ARM_NEON分支补上FP32_TO_FP16宏选择,使此前已定义但从未被调用的单条fcvt指令真正进入计算路径;同时新增编译期 #error检查,防止同类宏定义与选择不一致再次静默通过。
阅读全文开源项目
关注开放的模型、工具与代码,找到值得动手的项目。
Anthropic Python SDK v1.17.0增加组织Webhook端点与用户档案强制执行事件
该版本还新增Admin API的RBAC组所有者访问错误码、说明插件上传的unsupported_charset错误,并修复Bedrock与Google Cloud客户端default_headers中工作区及用户档案ID被丢弃的问题。
阅读全文llama.cpp b11760修复HIP/CUDA下mmf归约的tile宽度问题
该版本发布说明列出的唯一代码改动,是修复mmf归约在tile宽度不能被 64 整除时的HIP/CUDA问题(PR #30836);其余条目为各平台预编译产物的下载清单。
阅读全文gemini-cli v0.65.0发布:收紧不可信目录权限、修复会话恢复与登录重试问题
Google的gemini-cli仓库发布v0.65.0更新日志,列出 26 项修复、1 项遥测功能与版本变更,涉及不可信文件夹只读限制、会话恢复重复工具响应、OAuth校验与重试循环等问题。
llama.cpp发布b11757:旧内存池刷新后清除CUDA graphs
llama.cpp新构建b11757的变更说明只有一条CUDA改动:在旧版内存池刷新后清除CUDA graphs(拉取请求 #26771)。发布页同时列出各平台预编译包,其中macOS的KleidiAI版本和openEuler构建被标注为DISABLED。
LiteLLM发布v1.106.1补丁版:说明只提cosign镜像签名验证,未列具体修复
GitHub Release页面显示,v1.106.1由yuneng-berri通过PR #47517 提交,是相对v1.106.0的补丁发布;页面“What's Changed”只列出这一条发布提交,未说明具体修复或变更内容。
DeepSeek以Apache 2.0开源推理框架DeepInfer,支撑V4.1-Flash
DeepSeek称DeepInfer基于vLLM,含优化计算内核、多芯片分布式处理和更快的文本生成技术;同步发布deepseek-recipe,用于让自托管环境复现官方API的token处理。
Google发布开源PyTorch版本TorchTPU,支持应用迁移至其TPU芯片
Google周二宣布TorchTPU开源,开发者通过简单配置改动即可让现有PyTorch应用运行在TPU及Google Cloud上,无需重写代码。此前一天,亚马逊刚发布类似工具TorchNeuron。

NVIDIA发布Cosmos3-H-Dreams:基于胆囊切除临床录像的实时生成式手术模拟器
NVIDIA在Hugging Face博客中称,Cosmos3-H-Dreams是首个基于临床胆囊切除录像训练、支持实时运动学控制的生成式手术模拟器;它由Cosmos 3驱动,经FlashDreams加速,可在单张NVIDIA RTX PRO 6000 GPU上交互运行。NVIDIA明确表示该模型是研究用模拟器,并非经过验证的患者诊疗系统。
LiteLLM发布v1.105.2,Docker镜像可用cosign校验签名
发布说明显示,v1.105.2仅包含一个发布补丁改动;同时给出用固定commit哈希或release tag获取公钥、校验镜像签名的命令。
Anthropic Python SDK发布v1.16.0:User Profiles正式可用,Google Cloud改用v1端点
anthropic-sdk-python v1.16.0的更新说明列出了五项功能变更和六项杂项;其中User Profiles从预览转为正式可用,Google Cloud相关模块改用v1端点并新增组织端点。
LiteLLM发布v1.103.6补丁版本,Docker镜像沿用同一cosign密钥签名
BerriAI的LiteLLM发布v1.103.6补丁版本,变更内容为一次发布相关的chore提交;发布说明同时列出用cosign校验镜像签名的两种方式。
llama.cpp b11756修复Anthropic /v1/messages转换丢失id_slot
llama.cpp在b11756版本中让服务端把Anthropic /v1/messages请求里的id_slot传入内部OpenAI风格请求体。此前该参数在转换中被遗漏,依赖固定槽位复用KV缓存的代理会退回自动选槽,在混合/循环模型上触发完整重新预填充。
记忆张量开源MemT 1.0:把记忆写进Transformer,最大 288B参数
该公司称,这是记忆原生模型首次完成近 300B参数规模的工程验证;模型在选定的Transformer模块中加入与注意力并行的记忆分支,以可训练的动态矩阵状态保存、更新和读取经验。
llama.cpp b11755修复Metal后端每token 9个专家时缺失的MoE内核变体
该版本发布说明列出的唯一改动是Metal后端的一项MoE内核修复,对应PR #30610 与 #30699;同时提供macOS、iOS、Linux、Android、Windows等多平台预编译包。
llama.cpp b11753修正Tekken与GPT-4o预分词正则,加入 \p{M}
该版本在Tekken和GPT-4o预分词器正则的先行断言中加入 \p{M},对应PR #30845;发布页同时列出macOS、Linux、Android、Windows等多平台构建包。
llama.cpp b11752修复MoE测试中的后端噪声导致的专家选择不一致
该版本修改测试逻辑,为每个专家分配独立分数区间,使top-k选择只取决于专家索引;Beam架构在 160 个随机种子下与CPU参考结果的偏差从 4e-3降至 4e-7。另在测试设备表中区分Apple SoC的CPU与Metal GPU。
llama.cpp b11751将Hexagon构建工具链升至v0.8,并启用Hexagon v85
该版本由仓库机器人github-actions[bot] 发布,合并了 #30854;改动集中在Snapdragon Hexagon后端的构建脚本与CI,架构版本上限提高到v85,并同步更新Linux Snapdragon与Android arm64的Snapdragon预编译包。
LiteLLM发布v1.107.0-rc.2,Docker镜像继续用cosign签名
该候选版本在更新日志中列出MCP、代理、计费和Bedrock等多项修复,并保留用固定commit hash或发布tag验证镜像签名的两种方式。
LiteLLM发布v1.104.4:修复护栏设置、团队级批处理模型访问与token计数
LiteLLM v1.104.4在stable/1.104.x分支上回移多项修复,涉及护栏配置加载、代理的团队级批处理模型访问、Google请求兼容性和旧版token计数优先级。
gemini-cli发布v0.66.0-nightly.20261020,修复终端回滚与HTTP流解码
该夜间版本包含两项修复:视口刷新时保留终端回滚内容,以及用StringDecoder解码流式Node HTTP活动数据块。
llama.cpp b11748修复SYCL后端重排量化权重下的get_rows
llama.cpp发布b11748版本,唯一列出的变更是SYCL后端修复:在量化权重经过重排(reordered)时修正get_rows的行为,提交编号 #30430,由Sam共同署名。
Hugging Face宣布PyTorch原生后端TorchTPU,Transformers、Diffusers可直接加载到TPU
Hugging Face博客介绍,TorchTPU把TPU变为PyTorch的又一个设备:装好后在Transformers中传device_map="tpu"、在Diffusers中调pipe.to("tpu") 即可运行模型;此前运行PyTorch on TPU需经torch_xla或改用JAX。
AnyLanguageModel 1.0发布:在苹果平台用同一套API切换本地与托管模型
Hugging Face博客称,AnyLanguageModel 1.0与swift-huggingface 1.0、swift-xet 1.0同期发布;开发者只需把import FoundationModels改为import AnyLanguageModel,同一套会话代码即可调用系统模型、llama.cpp/MLX/Core ML本地模型以及多家托管服务。
PyTorch 2.15为Apple MPS加入FP8并加速MoE解码,Hugging Face称最高提升 6.5 倍
Hugging Face PyTorch团队称,PyTorch 2.15在MPS后端新增FP8张量支持、原生grouped matmul与多项Metal内核;在M3 Ultra上用torch.compile运行时,Qwen3.6-35B-A3B解码速度从 9.4 提升到 61.3 tokens/s。
llama.cpp b11747发布:mtmd调整Qwen-VL图像缩放以对齐transformers
llama.cpp发布构建版本b11747(提交PR #30736),主题为“mtmd:匹配transformers的Qwen-VL resize”。该版本沿原有发布格式提供多平台预编译包。
llama.cpp b11744为server增加 --connect实验性选项,支持局域网外P2P访问
该版本在server中加入 --connect参数,可经由llama-connect建立隧道,让局域网外设备以点对点方式访问本地推理服务;提交说明将其标注为实验性功能。
AWS简化SageMaker Studio注册:可用Google、GitHub等账号直接登录
AWS称,新客户用已有身份登录后约 20 秒自动创建SageMaker Studio环境,多数用户无需输入信用卡,并可获得 100 美元Free Tier额度;该体验仅面向新AWS账户。

Claude Code v2.1.304发布:新增自动模式引导设置与代码审查分级
Anthropic的Claude Code发布v2.1.304,加入 /auto-mode-setup引导设置、Managed Agents安全配置比对、Code Review三档审查级别,并修复挂载盘rm -r缺少安全提示、--worktree退出时误删worktree等问题。
llama.cpp b11741为OpenCL后端新增cooperative-k dp4a GEMM,覆盖q4_0、q4_k和q6_k
该版本发布说明列出三项OpenCL矩阵乘实现改动,并附带一项对齐修复;发布页未给出性能数据。