The Verge编辑用 256GB Mac Studio试跑本地AI:1250 亿参数Qwen整理Steam库、做日报
The Verge AI编辑Antonio G. Di Benedetto记录了自己在M5 Ultra Mac Studio(256GB统一内存)上安装开源Hermes Agent、运行 1250 亿参数Qwen 3.8 Flash Next模型的早期体验:部分任务可用,日报任务多次中断,基准测试自动化仍在进行中。
AI解读:这是The Verge编辑Antonio G. Di Benedetto的个人测试记录,他本人称自己不是AI专家,本次只报告在Mac Studio及若干Mac、Windows设备上的初步尝试,不是评测结论。
已落地的用例集中在不愿上传云端的数据:整理Steam库 400 多款游戏、分析财务记录、制作尚未解禁的笔记本规格对比表;其中Steam整理需要注册Steam web API key并在完成后撤销。
作者称本地模型不是万能助手:基于cron的每日简报多次生成失败,原因是macOS在 7:30 触发时必须处于唤醒状态;他正在尝试用脚本自动化笔记本基准测试,目前仍是进行中的工作。
文中提到Apple在新Mac台式机宣传中强调本地AI能力,以及一批即将上市、最高 128GB内存、面向agentic AI的RTX Spark Windows机器;Apple演示的四台Mac Studio集群价值近 5 万美元。
The Verge AI编辑Antonio G. Di Benedetto发布了一篇本地AI使用日记,记录他在M5 Ultra Mac Studio(256GB统一内存)上安装开源Hermes Agent并运行本地大模型的早期体验。他写道,自己此前迟迟没有日常使用AI,主要顾虑是把个人数据交给云端服务;现在他打算测试本地运行强模型是否值得为此在内存上多花钱。
Hermes是一款自托管AI agent桌面应用,支持macOS、Windows和Linux,配合本地LLM使用时完全免费。作者用Hermes的引导界面选择了Qwen 3.8 Flash Next,这是一个 1250 亿参数、体积约 105GB的模型;他随后还计划在M6 Mac Mini、M5 MacBook Air、搭载AMD Strix Halo处理器的Asus TUF Gaming A14,以及后续的RTX Spark设备上测试更小的Qwen模型。
他通过Telegram机器人让Hermes可以从手机操控,随后尝试了几项任务:扫描邮件和日历生成每日晨间简报、整理Steam游戏库、分析财务记录、制作笔记本规格对比表。其中每日简报初期多次生成失败,他发现原因是macOS在早上 7:30 任务触发时必须处于唤醒状态。
Steam库整理需要API key,完成后可撤销
作者Steam库里有 400 多款游戏,手动分类十分耗时。他让Hermes访问已安装的Steam客户端读取游戏,Hermes很快给出几种分类方案;他选择按类型整理,同时保留自己喜欢的、合作、派对、与妻子一起玩的游戏等自定义分类。
要让本地AI对本机执行操作,必须授予一定权限。整理Steam库时,作者注册了一个Steam web API key交给Hermes;分类几分钟完成,之后他立即撤销了该key,因为这只是一次性任务,后续新购买的游戏由他自己归入分类。
- Steam库规模:400 多款游戏
- 权限方式:注册Steam web API key并交给Hermes,任务完成后撤销
- 结果:按类型自动分类,保留用户自定义分类
不愿上云的数据和embargo信息成为本地模型的实际用例
作者用Hermes分析了财务记录的数字,也让它为选购新笔记本生成规格对比表格。他说这两件事他都不会交给云服务:财务数据敏感,而笔记本信息当时处于embargo状态。把这些留在本机,是他决定使用这个工具的关键差异。
更大的自动化项目是把一系列笔记本基准测试脚本化。作者平时手动运行全部基准测试,一台笔记本跑十几项、重复三次取平均,非常耗时。他说目前即使只是把流程讲给Hermes、让它生成vibe coded的Python脚本,也仍是一项进行中的工作。
- 财务分析:数据敏感,不愿上传云端
- 笔记本规格表:信息处于embargo,不便交给云服务
- 基准测试自动化:目标是把重复三次的十余项测试脚本化,尚未完成
作者对本地AI的定位
作者表示,本地模型仍然不是能包办一切的魔法助手,日常简报已经多次中断。他把Hermes和本地AI视为运行在自己电脑上的一个工具,不想要“数字朋友”,也不会对它说“谢谢”“请”或“抱歉”;他称自己会继续在测试和学习本地AI的过程中保持警惕和谨慎。
文章还提到Apple在新Mac台式机宣传中强调本地AI表现,并称有一整条即将上市的RTX Spark Windows机器产品线,最高 128GB内存,面向agentic AI使用。作者上月参加的一场简报会上,Apple演示了四台Mac Studio组成集群用于本地AI,他称这批算力价值近 5 万美元。
- 作者对本地AI的定位:电脑上的工具,不是数字陪伴
- 已知限制:每日简报多次中断,需要机器在触发时保持唤醒
- 文中提及:Apple四台Mac Studio集群演示,价值近 5 万美元;即将上市的RTX Spark Windows机器最高 128GB内存