开源llama.cpp Releases·原文 2026年10月21日

llama.cpp b11795在 /v1/messages接口支持转发采样参数

该版本由ggml-org发布,提交说明显示 /v1/messages接口可将请求透传,并允许在extra_params下传入llama.cpp采样参数;同时提供macOS、Linux、Windows、Android等多平台预编译包。

llama.cpp发布b11795版本,提交说明中的主要变更是服务端在 /v1/messages接口上转发llama.cpp的采样参数(#30856)。

b11795对 /v1/messages的改动

提交说明列出多项改动:最初是在 /v1/messages上转发llama.cpp采样参数;随后改为将请求整体透传,而不是复制列出的键;并把注释从多行改为单行。

按提交说明,服务端现在接受放在extra_params下的llama.cpp参数,/v1/messages的README示例中也展示了extra_params。此外,提交删除了一个针对简单功能的测试用例。

  • 在 /v1/messages上转发llama.cpp采样参数
  • 请求透传,不再复制列出的键
  • llama.cpp参数通过extra_params传入
  • README示例新增extra_params展示

发布产物

发布页列出该版本的预编译包。来源中标注为DISABLED的包括macOS Apple Silicon的KleidiAI版本和openEuler构建。

其余产物覆盖macOS、iOS、Linux、Android、Windows多个后端,以及单独的UI包。

  • macOS:Apple Silicon arm64、Intel x64、iOS XCFramework
  • Linux:Ubuntu x64/arm64/s390x CPU,Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL,以及Snapdragon版本
  • Android:arm64 CPU与Snapdragon(CPU、Adreno GPU、Hexagon NPU)
  • Windows:CPU x64/arm64、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0
  • 另提供UI包

信息来源

llama.cpp Releases原始来源