llama.cpp发布v0.8.0:新增LFM3全模态模型族与实时音频端点
该版本为mtmd加入实验性流式音频API,并在服务器端新增实现OpenAI realtime协议的 /v1/realtime与 /tts端点;同时加入DeepSeek V4.1 Flash、SenseNova U1等十余个新模型架构,ggml同步升级至v0.28.0。
llama.cpp发布v0.8.0,新增LiquidAI LFM3模型族(文本、视觉、音频与omni),并在mtmd中引入实验性流式音频API,服务器端新增 /v1/realtime与 /tts端点。
该版本同时加入DeepSeek V4.1 Flash、SenseNova U1、Beam、Kolibri-1、Flint、Muse Spark、Granite Switch Decision,以及LiquidAI、百度、NVIDIA的决策与嵌入模型;ggml从v0.27.0升级到v0.28.0。
LFM3模型族与实验性流式音频
LFM3-1.7B(文本)和LFM3-VL-2B(视觉)据发布说明已对照参考HF实现进行验证(PR #31252)。LFM3-Audio-2B和LFM3-Omni-2B被描述为用单一模型完成ASR、TTS和语音聊天,并支持流式音频输入输出(PR #31257)。
mtmd新增实验性mtmd_audio_stream API,将随到随喂的PCM转为解码器可用的embedding行(PR #30629),该API被用于支持voxtral-realtime。音频生成改为有状态:mtmd_gen_state取代音频生成API中原有的state_data缓冲区(PR #30902)。mtmd_caps新增gen_audio,并新增SOPRANO和LFM3A两种TTS类型,以及对采样码的重复惩罚。
服务器新增实时协议与TTS端点
服务器新增 /v1/realtime端点,按发布说明实现OpenAI realtime协议,用于对话和转写(PR #31269、#30636),在已提交音频排空后发送response.done。新增POST /tts端点用于文本转语音模型(PR #26603)。
聊天模板中的reasoning effort级别现通过API暴露并可选(PR #31271);Chat API支持延迟工具和tool_reference内容部分(PR #31256)。
命令行方面,现在必须指定 --model或 -hf(PR #31242)。
核心与ggml变更
核心侧将稀疏注意力(QSA/DSA)重构到融合掩码算子之上,主机内存中的MoE专家改用 50/50 SLRU缓存替代普通LRU,并整理no_alloc内存处理。
ggml v0.28.0带来GGML_OP_TOP_K_MASK融合稀疏注意力掩码,MUL_MAT_ID/ADD_ID中 -1 成为有效专家索引(跳过该槽并将输出行置零),以及CUDA分块图启动、SYCL图录制回放、OpenCL Q2_K/Q3_K、Hexagon HTP重构和KleidiAI SVE内核等后端工作。
界面与工具链
Web UI可直接从HF Hub浏览和下载模型,新增会话与消息搜索对话框,并支持会话压缩以将长对话保持在上下文内。模型管理器移至独立路由,模型详情在抽屉中打开。
其他修复包括:4D张量量化使用ggml_nrows(),convert-hf加快字节序转换并支持更多数据类型,GGUF工具拒绝截断的张量数据,common支持HTTP_PROXY/HTTPS_PROXY并允许并发下载。