llama.cpp b11795在 /v1/messages接口支持转发采样参数
该版本由ggml-org发布,提交说明显示 /v1/messages接口可将请求透传,并允许在extra_params下传入llama.cpp采样参数;同时提供macOS、Linux、Windows、Android等多平台预编译包。
llama.cpp发布b11795版本,提交说明中的主要变更是服务端在 /v1/messages接口上转发llama.cpp的采样参数(#30856)。
b11795对 /v1/messages的改动
提交说明列出多项改动:最初是在 /v1/messages上转发llama.cpp采样参数;随后改为将请求整体透传,而不是复制列出的键;并把注释从多行改为单行。
按提交说明,服务端现在接受放在extra_params下的llama.cpp参数,/v1/messages的README示例中也展示了extra_params。此外,提交删除了一个针对简单功能的测试用例。
- 在 /v1/messages上转发llama.cpp采样参数
- 请求透传,不再复制列出的键
- llama.cpp参数通过extra_params传入
- README示例新增extra_params展示
发布产物
发布页列出该版本的预编译包。来源中标注为DISABLED的包括macOS Apple Silicon的KleidiAI版本和openEuler构建。
其余产物覆盖macOS、iOS、Linux、Android、Windows多个后端,以及单独的UI包。
- macOS:Apple Silicon arm64、Intel x64、iOS XCFramework
- Linux:Ubuntu x64/arm64/s390x CPU,Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL,以及Snapdragon版本
- Android:arm64 CPU与Snapdragon(CPU、Adreno GPU、Hexagon NPU)
- Windows:CPU x64/arm64、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0
- 另提供UI包