开源llama.cpp Releases·原文 2026年11月10日

llama.cpp b12237支持Gemma 4音频输入流,修正实时嵌入仅限音频生成

llama.cpp发布b12237版本,mtmd新增对Gemma 4输入音频流的支持,采用 480ms步长;同时服务端把实时嵌入限制为仅用于音频生成,避免带音频流的聊天模型在首批音频行上报错中止。

llama.cpp发布b12237版本,mtmd组件新增对Gemma 4输入音频流的支持,音频处理采用 480ms步长。

同一版本中,服务端调整实时嵌入的启用条件:此前实时槽位强制开启嵌入,导致带音频流的聊天模型在首批音频行中止,现改为仅在音频生成时启用。

音频输入与嵌入条件的改动

发布说明将本次改动列为两项:mtmd支持Gemma 4输入音频流,使用 480ms步长;服务端实时嵌入仅对音频生成启用。

说明解释,实时槽位强制开启嵌入会把一个批次中的每一行都标记为输出,而只有生成音频的模型才会预留n_batch个输出,因此带音频流的聊天模型(Gemma 4)在第一批音频行上中止。隐藏状态只由音频生成流程读取。该说明由提交者给出,来源未附独立复现或评测数据。

  • 新增:mtmd支持Gemma 4输入音频流
  • 参数:音频步长为 480ms
  • 修正:实时嵌入仅在音频生成时启用,避免聊天模型首批音频行中止
  • 归因:上述机制解释来自发布说明及提交者,非独立验证

发布产物范围

b12237提供多平台预编译包,覆盖macOS(Apple Silicon arm64、Intel x64)、iOS XCFramework、Linux(Ubuntu x64/arm64、s390x,含CUDA 12.8、CUDA 13.5、ROCm 10.0、OpenVINO、SYCL、Vulkan等构建)、Android、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)以及UI包。

发布说明中标注macOS Apple Silicon的KleidiAI启用版本和openEuler构建为DISABLED。来源未说明这些构建被禁用的原因。

  • macOS:Apple Silicon arm64、Intel x64、iOS XCFramework
  • Linux:Ubuntu x64/arm64、s390x,含CUDA、ROCm、OpenVINO、SYCL、Vulkan构建
  • Windows:x64/arm64 CPU,以及CUDA、Vulkan、OpenVINO、SYCL、ROCm构建
  • Android:arm64 CPU及骁龙CPU/GPU/NPU包
  • 标注为DISABLED:macOS KleidiAI启用版、openEuler构建

信息来源

llama.cpp Releases原始来源