开源项目

关注开放的模型、工具与代码,找到值得动手的项目。

llama.cpp b10985修复RPC哈希缓存:激活值不再写入磁盘,避免一天 1.4 TB占用

ggml_backend_rpc此前对超过HASH_THRESHOLD的所有传输做哈希并交给rpc-server的文件缓存,本意只缓存权重,但调度器在两个后端间复制的激活值也走了同一条路。以Qwen3.8-Flash-Next双节点拆分为例,每个超过 10 MB的prefill ubatch都被哈希并写入worker缓存目录,一天后达到 1.4 TB。b10985只对标记为GGML_BACKEND_BUFFER_USAGE_WEIGHTS的缓冲区张量启用哈希路径,并通过SET_TENSOR载荷中的cache_flag字节控制服务端缓存写入,RPC_PROTO_MAJOR_VERSION随之升级。