llama.cpp发布b11946,服务器新增 /v1/realtime实时对话与转写
llama.cpp发布b11946,其server通过PR #31269 在 /v1/realtime端点上增加实时对话和语音转写功能,并修复同一上下文多会话输出串扰的采样问题。
llama.cpp发布b11946版本,其server(服务端)通过PR #31269 增加 /v1/realtime端点,用于实时对话和转写。发布说明以此为该版本的主要更新。
端点与客户端改动
根据发布说明中的提交记录,PR #31269 的主题是“server : add realtime conversation and transcription on /v1/realtime”,即由server提供实时对话和转写能力。
同一批提交把实时相关代码更多移入server-realtime模块,使其自包含;示例中的实时客户端默认连接到server的 9931 端口。提交记录还包含两次客户端修正:修正实时客户端的类型检查,以及让实时客户端使用模型卡中的提示词。记录中多条改动标注Assisted-by: Claude Opus 5.5,共同作者为Xuan Son Nguyen。
并发会话的采样修复
提交记录描述了一个并发输出问题:slot(槽位)在同一上下文上轮流响应,而采样发生在下一步开始时,读到的是最近完成解码那个slot的logits,于是并发会话的输出互相混入。
该改动让实时响应在各自完成解码后立即采样。发布说明将这一点列为server端的修复项,但没有给出并发测试数据。
发布产物范围
b11946提供多平台预编译包,包括macOS Apple Silicon与Intel、iOS XCFramework、Linux(CPU、Vulkan、CUDA 12.8、CUDA 13.4、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及Snapdragon的CPU、Adreno GPU、Hexagon NPU)、Android和Windows多类构建,另有UI包。
部分构建在说明中标注为禁用:macOS Apple Silicon的KleidiAI版本(DISABLED)和openEuler各项构建(DISABLED)。