Exowatt用亚马逊SageMaker微调小模型，边缘告警分流准确率 0.911 超过前沿模型
AWS博客披露，Exowatt通过SageMaker AI无服务器模型微调，为边缘与云端两个场景分别产出Qwen3-1.7B和Qwen3-14B定制模型；在各自任务上准确率高于所对比的前沿模型，云端每千次回答成本约低 49 倍。上述结果来自AWS与Exowatt方面公布的数据。
AI解读：读者最需要弄清的是这套方案在什么条件下成立：两个模型各只针对一项范围很窄、数据私有的任务，即现场告警分流和电力市场事件识别，评测集分别是 320 个和 2000 个案例，成绩不能外推到其他任务。
边缘端之所以不用前沿模型，是因为许多站点无GPU、网络受限或断连，且按站点数量持续调用前沿模型成本过高；Qwen3-1.7B经 8 比特量化后约 1.71 GiB，在 6 GiB的llama.cpp容器里离线运行。
云端侧选Qwen3-14B的条件是它被Bedrock Custom Model Import支持、在SageMaker Public Hub有现成LoRA配方，且约 28 GiB的体量足以低成本托管，来源将这些列为选型依据。
数据显示，微调能拉开差距的关键是数据多样性而非模型规模：告警模型在 684 条人工核实决策上微调时macro-F1为 0.584，加入 1838 条经确定性校验的改写后升至 0.911；同样步数下只在原 684 条上多训 11 轮仅得 0.879。
来源中的“49 倍成本差”只针对Qwen3-14B与Claude Opus 4.7在每千次回答上的对比（0.60 美元对 29.26 美元），按Bedrock标价乘以实测token数计算；它不适用于边缘模型，后者按“无计量推理成本”计为 0。
这些模型都要求输出严格JSON并对每条结论引用输入数据行，未获引用的主张会被丢弃；边缘模型在证据不足时选择弃答。这些属于Exowatt与AWS描述的系统设计，不是第三方验证结果。
AWS机器学习博客发文称，太阳能系统公司Exowatt使用Amazon SageMaker AI的无服务器模型微调，搭建了一条可重复的AI流水线，为边缘和云端两种部署目标产出针对具体任务的微调模型。文章由Purna Sanyal署名，数据由Exowatt与AWS方面提供。
来源称，这套流水线生成的两个模型在各自任务上准确率高于所对比的前沿模型，成本最多低 49 倍。文章同时说明，这两个模型是流水线的首批产出，而非终点；更持久的结果是流水线本身，使从原始运营数据到认证训练集、微调模型和已评估部署产物的流程可在数天内完成，而不是数月。
边缘告警分流：Qwen3-1.7B与 0.911 macro-F1
Exowatt的能源管理系统在每个站点持续产生告警，例如硬件超规格运行、连接中断、电压读数越界。随着机队向数千台现场设备扩展，人工无法实时监控每个站点。来源称，团队需要一个能在有限连接甚至无网络的边缘环境自主判断下一步动作的模型，前沿模型因任务专有、依赖云调用、按站点规模计费不经济而不适用。
- 团队先用提示词和护栏方式试Qwen3-8B，macro-F1停在 0.735，低于目标；13 个微调后的Qwen3-8B候选覆盖 12 个数据集版本，均未超过提示版的 8B基线。
- 微调后的Qwen3-1.7B在这项单轮窄任务上超过提示版Qwen3-8B，参数量约为其五分之一，且小到可在无GPU的边缘控制器上运行。
- 训练集为 2522 条：684 条来自生成站点场景并经验证的决策，加上 1838 条认证改写；改写由Bedrock上的Qwen3-235B生成，花费约 3.72 美元，2218 条候选中 1838 条通过决策、标签、证据引用和数字不变的确定性检查。
- 训练在SageMaker无服务器微调上约用 32 分钟，花费约 20 至 25 美元；模型量化为 8 比特后约 1.71 GiB，在站点现有CPU服务器的 6 GiB llama.cpp容器中离线运行，也可运行在t3.2xlarge实例上。
- 在 320 个测试案例上，微调后的Qwen3-1.7B从无法给出有效答案提升到 0.911 macro-F1，高于表中的Claude Haiku 4.5（0.519）、Claude Opus 4.7（0.680）和Claude Sonnet 4.6（0.698）。
云端市场分析：Qwen3-14B与每千次 0.60 美元
第二个用例针对电网连接站点的电力市场判断：模型读取约 90 行、覆盖六小时的实时价格、日前预测和电网通知，约四秒内给出五类市场事件之一，每条结论绑定具体数据行，用于辅助调度策略。来源称，Qwen3-14B被选中，是因为它受Bedrock Custom Model Import支持、在SageMaker Public Hub有现成LoRA配方，且约 28 GiB足以低成本托管。
- 训练数据取自ERCOT约五年公开市场数据，约 1.63 亿行、12 张表，经规则标注为 2.5 万条示例（2.2 万训练、1000 验证、2000 测试），再用Bedrock上的Claude Sonnet 4.6改写措辞、保持标签和数值不变，扩至 86281 行。
- 训练为单轮LoRA（rank 16、alpha 32），约 8.5 小时无服务器托管训练，最多同时跑四个任务；从初始方案到冠军模型在Cloud EMS提供服务共六天，运行 23 个任务、约 155 小时托管训练。
- 来源称，关键提升来自改写多样性：每条答案加三次改写后，macro-F1从 0.950 升至 0.975；基座Qwen3-14B仅 0.415。合并检查点导入Bedrock Custom Model Import约用 14 分钟，仅在激活时按每小时 6.86 美元计费，无闲置成本。
- 在 2000 个测试案例上，微调后的Qwen3-14B达到 0.975 macro-F1，高于Claude Sonnet 4.6的 0.538 和Claude Opus 4.7的 0.625；来源称比Opus 4.7高 0.35（95% 置信区间 0.324 至 0.371），每千次回答成本约 0.60 美元对 29.26 美元，约低 49 倍；在另一组后续测试集上为 0.968。
来源给出的工程与成本细节
文章列出七个AWS服务构成该流水线，包括S3存放数据和产物、SageMaker无服务器微调与评估、SageMaker Model Registry登记每次微调及指标、Bedrock Custom Model Import托管云端模型、Bedrock上的模型做改写和基准对比、Lambda与EventBridge承担评分和定时保活。来源称整套方案无需管理实例、集群或端点。
- 对边缘模型，来源将每千次决策成本记为 0，解释为没有按次计费的API或GPU推理成本，量化模型跑在站点现有CPU上。
- 两个模型均要求输出严格JSON，并对每条主张引用输入数据行；来源称证据围栏会移除所有未获引用的主张，边缘模型在证据不足时明确弃答，团队因此在云托管的站点副本上以影子模式自主运行。
- 来源称，无服务器微调免去自选GPU实例和等待容量的步骤，使团队每天可跑多次实验；这正是其将微调从稀缺的排期事件变为常规迭代的原因。