高通称该演示由高通与阶跃星辰、Infris AI、江波龙合作完成，围绕专家模块预测、存储加载和芯片平台协同优化，展示意图理解、任务编排、实时操作目标App等端侧能力。
高通在第九届中国国际进口博览会展出端侧MoE（混合专家）智能体演示，合作方为阶跃星辰、Infris AI和江波龙。高通称，该演示围绕模型、推理、存储和芯片平台进行协同优化，目标是让MoE模型在手机等终端有限的内存和功耗条件下运行更复杂的任务。
据量子位转载的高通提供稿件，演示涉及意图理解、任务编排、实时操作目标App等系统级能力。高通未公布该演示的推理速度、功耗、内存占用或任务完成率数据，也未说明这些能力将何时出现在具体商用终端上。
演示要解决的两个端侧问题
MoE模型把参数划分为多个“专家”模块，执行任务时只调用其中一部分，而非像Dense模型那样每次推理运行全部参数。稿件以30亿参数Dense模型为例说明：Dense模型每次推理都要运行全部30亿参数；MoE模型则可能在20个专家模块中只调用2至3个。
高通方面称，MoE模型总体体量较大，在端侧运行需要解决两个实际问题：一是根据当前任务提前预测接下来需要调用哪些专家模块；二是预测完成后快速从存储中调用这些模块参与计算。稿件提到，大模型推理过程中DDR带宽往往是重要瓶颈，提前预取专家模块可减少等待时间。
合作方各自承担哪一环
按照高通给出的分工，阶跃星辰重点提升模型的智能能力；Infris AI通过推理方案对所需专家模块进行提前预测和预取；江波龙优化专家模块从通用闪存存储（UFS）到内存的加载效率；高通围绕芯片平台和软件栈，与合作伙伴共同优化专家模块路由、专家模块预测和缓存预测等环节。
高通将这一演示描述为系统性优化，而非单一模型展示。稿件同时说明，目前主流做法通常只能在端侧运行20亿至30亿参数规模的模型，这一规模可完成ASR、文本摘要、图片处理、简单聊天等单点任务；若要让终端完成系统级、规划类任务，模型智能能力仍面临限制。高通称，现阶段20亿、30亿或40亿参数模型并非完全无法运行复杂任务，但完成度和准确度可能只有60%、70%或80%的水平，MoE提供了在终端条件下提升智能水平的路径。