llama.cpp b11714发布:llama-ui新增从Hugging Face Hub发现并下载模型
该版本在模型管理器中加入Discover Models界面,可浏览和下载HuggingFace GGUF模型;默认关闭,开启时会同时打开Hugging Face Hub设置。下载支持暂停续传、随主模型拉取匹配的draft旁挂文件。
llama.cpp发布b11714版本,作者为github-actions[bot]。本版主体改动在llama-ui:新增Discover界面,用于从Hugging Face Hub浏览、搜索和下载GGUF模型;提交信息将这一组改动记为PR #29584。
Discover视图与开关
发布说明写,模型管理器对话框增加第二个视图:Discover Models入口淡出表格、滑入标题并显示Discover界面,箭头按钮返回表格。Discover界面包含按策展目录的列表与搜索、带readme、元数据、Hub统计和下载选项的详情面板,以及独立的下载进度条。
该功能默认未勾选。启用Discover会同时打开Hugging Face Hub设置,禁用则一并关闭;Discover关闭时,Hub设置仍可单独用于展示数据。已有存储状态和重置状态在加载时按同样规则纠正。模型管理对话框现在默认打开管理器视图,而非上次停留的视图。
- Discover Models默认关闭
- 启用/禁用会联动Hugging Face Hub设置
- Catalog拉取失败时,store保持不完整,下次挂载重试
下载行为:暂停、续传与状态识别
发布说明称,被停止的下载保留未完成文件,重新提交对应标签即从磁盘上已有部分续传。首次进度记录会带上续传偏移量,暂停请求发出后即生效。
路由器会记住它启动过的下载标签,下载完成或被删除时清除该标签;列表将剩余项以新增的“incomplete”状态列出,不带运行实例。界面在每次获取列表时采用这些标签作为暂停项,刷新或重新打开能显示未完成下载并从已有文件续传。前期版本用本地状态推断“暂停”的做法被移除,因为会把另一个标签页里正在运行的下载误读为暂停,并提供一个服务端会拒绝的续传。
- 停止下载保留部分文件,重发标签即续传
- 服务端新增incomplete状态区分“未完成”与“正在下载”
- 删除下载会通过同一套计划清除各blob的部分文件
按模型而非按文件下载,draft旁挂随主模型
下载单位被调整为每个模型一行:一个量化档位一颗芯片,匹配的draft旁挂文件作为子行跟随,芯片的已下载状态覆盖两个文件。界面不再为每个旁挂文件单独发标签,而是提交模型及其要拉取的旁挂类型,由服务端以 -hf标志挑选文件;服务端默认拉取mmproj。
主量化下载会以fire-and-forget方式拉取仓库提供的、按量化匹配且优先级最高的draft类型(DFlash优先于MTP)。暂停、续传、取消按量化匹配级联,与该量化档位匹配的draft一致;此前的级联会波及仓库内其他量化档位的draft。手动选择draft芯片仍然可用。
- 每个模型一行下载,draft作为子行
- 服务端按 -hf标志选择文件,默认含mmproj
- 级联操作按量化档位匹配,避免误停其他量化的draft
旁挂文件识别规则收紧
发布说明写明新的判定规则:只有 .gguf文件才可能被视为sidecar;mmproj或imatrix需在名称中作为完整单词出现,且可以单独决定;中间或结尾的sidecar标记具有歧义,因为draft head(如Model-MTP-BF16.gguf)与内嵌head的完整模型(如Model-Q8D-MTP.gguf)都用这种命名,只有与同家族无标记主权重相邻时才算sidecar。
不带量化的sidecar(如mtp-Model-it.gguf)使用裸标签;imatrix标签解析为单独的计划槽位,会下载但不接入参数。删除时按下载相同的方式解析标签,并清除计划中每个blob的部分文件。llama download在仅sidecar的计划上也能成功并打印路径。
- 仅 .gguf文件可为sidecar
- mmproj、imatrix需为完整单词
- 中间/结尾标记需与同家族无标记主权重相邻
界面与安全修复
模型卡片中的原始HTML在经DOMPurify净化后渲染,默认仍为转义。净化钩子会删除position:fixed和position:absolute,保留KaTeX所需的布局样式,发布说明给出的理由是第三方卡片可借此绘制覆盖应用的固定浮层。
其他修复包括:Discover的挂载拉取只运行一次,修复加载标志在挂载副作用内同步切换导致的重复请求和对失败仓库的无限重试;同一芯片的两次快速点击只发出一次POST;拒绝下载时分别提示“已在下载”或“正在运行,需先卸载”;深色模式下元数据芯片、聊天模板按钮和View on Hugging Face链接改用三级按钮背景以保证可见性。
- 模型卡片HTML经净化并移除fixed/absolute定位
- 重复点击同一芯片只发一次POST
- 拒绝下载会说明具体原因
- 深色模式修复芯片与链接可见性
适用范围
上述功能描述均来自该版本的发布说明与提交信息,未见公开的效果数据或第三方验证。Discover依赖Hugging Face Hub设置;界面会过滤掉decision模型(按decision-model标签或text-classification pipeline识别),理由是llama-ui无法运行以校准概率而非文本作答的模型。
- 信息源为llama.cpp b11714发布说明
- Discover可下载内容受Hub设置与decision模型过滤影响