新版本还优化了中间件追踪性能,可省略追踪输入以降低开销。
阅读全文开源项目
关注开放的模型、工具与代码,找到值得动手的项目。
H Company发布NeoMME:单Transformer多模态编码器,260M参数检索性能优于同规模模型
NeoMME以单一双向Transformer直接处理文本和图像,无需预训练视觉塔与因果语言模型。其260M检索模型在保持51页/秒(2048×2048)编码速度的同时,以Apache 2.0许可开源。
阅读全文llama.cpp发布b10786:为mtmd预处理类添加const限定
新版本包含一个代码改动mtmd: propagate const to preproc class,并为多平台提供预编译二进制,包括Linux、Windows、macOS、Android与iOS。
阅读全文llama.cpp b10785发布:Metal后端新增稀疏Flash Attention,prefill阶段默认启用
该版本在Metal后端为Flash Attention加入稀疏掩码支持,通过索引压缩与单遍扫描降低掩码内存访问,并将稀疏路径用于prefill。
llama.cpp b10784发布:修复Metal后端GLU调度在ne00=1 时的错误
llama.cpp发布b10784版本,修复Metal后端在ne00=1 条件下的GLU调度问题,并同步提供多平台预编译二进制。
llama.cpp b10783发布,为mtmd多模态API增加const限定以支持多线程分词
该版本将mtmd_context与分词输入指针标记为const,使编译器能确认mtmd_tokenize可从多线程安全调用,同时面向多平台提供二进制包。
llama.cpp b10782发布:修复多GPU下CUDA图优化被跳过的问题
新版本允许每个设备分片独立启用CUDA图优化,并修复了CUDA事件绑定到错误GPU的问题;默认行为不变,仅在GGML_CUDA_GRAPH_OPT=1 时生效。
llama.cpp两日更新覆盖多模态、推理与硬件后端
9 月 2 日至 3 日的连续构建加入Nemotron-3-Puzzle支持,并修正DeepSeek-V4视觉、Qwen3 TTS、Vulkan、CUDA与Metal路径。
llama.cpp b10780发布:SYCL后端API增强,支持设备间对等复制
新版构建提供Ubuntu、Windows、macOS、Android与iOS等平台二进制,并默认应用KleidiAI优化。
OpenAI Codex发布 0.154.0-alpha.1版本
该版本以alpha形式发布,主要面向测试用户,包含多项更新。
llama.cpp b10778发布:修复模型加载阶段内存峰值问题
ggml-org发布llama.cpp b10778,主要变化是阻止模型加载时的RAM峰值(PR #27483),并同步提供多平台二进制包。
llama.cpp b10777发布:优化SYCL后端Q4_K矩阵乘法,减少多列MMVQ重复计算
新版本通过权重解包复用与双子组激活复用,提升SYCL上Q4_K量化模型的推理效率,并提供大量平台的预编译二进制。
llama.cpp b10776发布:新增NVIDIA Nemotron-3-Puzzle-75B-A9B模型支持
该版本通过按层存储专家FFN大小和top-k值,支持具有 5 种不同FFN扩展和 7 种top-k的混合专家模型,并适配官方BF16检查点。
llama.cpp发布b10775,修复Idefics3图像预处理问题
新版本为macOS、Linux、Windows和Android提供二进制包,并包含一处mtmd模块中的idefics3预处理修复。
llama.cpp发布b10774:修复训练无KV缓存问题
新版本主要修复微调(finetune)在没有KV缓存时的训练错误,并更新了各平台的二进制包。
OpenAI Codex 0.153.0发布:Vim模式支持撤销与重做,新增远程插件市场管理
Codex 0.153.0为TUI增加Vim撤销/重做、自动重述开关和更完整的历史视图,并允许通过CLI管理远程市场插件。
llama.cpp b10773:服务器端支持通过data: URL传入视频和音频
llama.cpp发布b10773,修复input_video和input_audio无法使用data: URL的问题,错误返回码从 500 修正为 400。
ONNX Runtime发布v1.28.2补丁,修复Compile API模型序列化重复节点问题
微软发布ONNX Runtime v1.28.2补丁版本,针对Compile API回调序列化进行修复,避免优化模型中出现重复图节点、输入、输出及值信息。
llama.cpp b10772发布:Hexagon HTP后端新增F16精度ABS支持
ggml-hexagon的HTP后端扩展F16一元运算覆盖范围,新增ABS运算,并在设备端通过 8/8 项测试。
OpenAI Codex发布 0.153.0-alpha.5.1版本
该版本为Rust实现的Codex CLI的预发布版本,仅提供版本号信息,未附带更新说明。
llama.cpp b10771发布:为mtmd新增mtmd_tokenize_from_parts() 函数
新版本通过拆分tokenize调用位置和剥离特殊token添加逻辑,重构了mtmd处理流程,并同步提供各平台安装包。
llama.cpp发布b10770:为Apple M3芯片加入Metal fa-vec调优
新版本主要面向macOS/iOS,在Metal后端为M3芯片添加fa-vec优化,并同步提供各平台二进制包。
开源复现“水彩代码模型”:用TRL与OpenEnv训练绘画智能体,全部产物公开
Hugging Face工程师在开源博客中发布了一份完整复现指南,用TRL与OpenEnv训练语言模型生成p5.brush水彩画代码,包含数据集、环境、脚本与模型。
350M参数模型经 100 步GRPO微调,结构化输出准确率提升 7 个百分点
Hugging Face发布公开低成本微调方案:用约 500 样本和 100 训练步,将LFM2.5-350M在IFStruct基准上的通过率从 22.6% 提升至 29.7%。
llama.cpp b10769发布:修复Apple Metal后端低内存条件下的内存查询
该版本主要包含一个针对Metal后端的修复,改进低内存环境下的内存查询逻辑,并同步更新各平台预编译二进制。
llama.cpp发布b10767:ROCm升级至 10.0.0,新增Windows ROCm与CUDA 13支持
此次更新将ROCm支持升级至 10.0.0,并为Windows用户新增ROCm 10.0二进制,同时提供CUDA 13.3/13.4版本。
Claude Code v2.1.259:新增托管MCP服务器设置与无人值守权限控制
Claude Code发布v2.1.259,新增 `managedMcpServers` 组织级配置和 `--permission-prompts none` 选项,并修复了并发会话状态覆盖、Bash读写规则绕过等多项问题。
GitHub Podcast解读AI新术语:循环工程、小队、马具、爬山算法等
GitHub开发者倡导高级总监Cassidy Williams在最新一期播客中,与嘉宾一起梳理了开发者圈涌现的AI新词汇,并解释了它们背后的工程实践。

llama.cpp b10766发布:修复DeepSeek4视觉输入支持
该版本主要修复了DeepSeek4模型对图像输入的处理问题,并更新了各平台的预编译二进制文件。
llama.cpp发布b10764:清理CUDA未用变量,同步更新各平台预编译包
新版本主要包含一项ggml-cuda代码清理改动,同时为macOS、Linux、Windows、Android等平台提供预编译产物。