开源项目

关注开放的模型、工具与代码,找到值得动手的项目。

Multiverse用伊辛模型选剪枝块:Llama-3.3-70B砍掉一半深度,MMLU比最强基线高近 23 分

Multiverse Computing在Hugging Face博客发布论文《LLM Compression by Block Removal with Constrained Binary Optimization》,把整块Transformer删除(深度剪枝)的选块问题改写成受约束二值优化,对应到全连接伊辛自旋玻璃,并用开放源代码的tabu求解器求解;在Llama-3.3-70B-Instruct压缩 40/80 块且不重训时,MMLU为 76.9,对比block influence的 54.0。