开源项目

关注开放的模型、工具与代码,找到值得动手的项目。

ONNX Runtime 1.30.0发布:新增Go绑定,CUDA与WebGPU推理能力扩展

微软ONNX Runtime发布 1.30.0 版本,这些说明覆盖自 1.29.1 以来的变更。亮点包括:CUDA推理支持扩展,为连续批处理引入变长因果卷积、paged XQA中的投机解码,以及带per-channel scales的INT4 paged KV cache;WebGPU方面改进PagedAttention、新增GPT-OSS支持与INT8 KV-cache块量化;CPU端新增AVX-512、Arm64 NEON和SVE的融合LinearAttention内核;并新增ONNX Runtime C API的Go绑定与DeepSeek Engram contrib算子。