llama.cpp b11744为server增加 --connect实验性选项,支持局域网外P2P访问
该版本在server中加入 --connect参数,可经由llama-connect建立隧道,让局域网外设备以点对点方式访问本地推理服务;提交说明将其标注为实验性功能。
llama.cpp发布b11744版本,其中server组件新增 --connect选项,使局域网外的设备可以经由点对点方式访问llama.cpp server(PR #28277)。提交说明将该功能标记为实验性。
发布说明还提到,b11744修复了Windows构建,并恢复生成文档中 --reasoning-preserve的默认值。
--connect的接入方式与限制
按PR描述,server通过 --connect连接llama-connect建立隧道,从而让局域网外的客户端访问本地server。新增的props.connect_code字段用于暴露连接码。
提交说明指出,单独使用 --connect-code不产生实际效果,只会出现在 /props中,曾导致Web UI显示一个没有隧道服务的远程访问码;现在 --connect关闭时会清空该码,并在启动时说明一次。
拨号逻辑改为使用绑定的HTTP端口,因此 --port 0和GCP覆盖的情况都能工作;拨号主机从 --host推导,通配地址映射为回环地址,IPv6地址加方括号;若仅绑定了unix socket,则拒绝 --connect。
发布包覆盖的平台
b11744在发布页提供多平台预编译包与库文件,包括macOS(Apple Silicon、Intel)、iOS XCFramework、Ubuntu(x64/arm64/s390x,以及Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL变体)、Windows(CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)、Android arm64与Snapdragon版本,以及Web UI包。openEuler与macOS的KleidiAI变体标注为DISABLED。
引用来源说明
上述功能细节来自该版本的提交说明与PR文本,属于代码提交方的描述;发布页未给出隧道在真实网络环境下的吞吐、延迟或安全审计数据,实验性标注的含义应以项目后续文档为准。