这家由vLLM原班人马创办的公司用自研megakernel内核配合DeepSeek提出的DSpark推测解码框架，把 16 块TPU v7的Kimi K3推理速度做到每秒 709 个token，对比同数量GB200的每秒 452 个；相关代码已开源。
AI解读：这次提速的关键不在TPU本身，而在芯片上跑的那层软件。Inferact把Kimi K3的 92 层MoE计算塞进一个手写的megakernel，让第N层还在算的时候就把第N+1层的权重从HBM搬进片上缓存，数据搬运和计算重叠起来，减少kernel交接时的带宽空转。
它的直接受益者是想在谷歌TPU上跑大模型推理的团队。过去TPU的软件生态远不如CUDA成熟，vLLM这类主流推理引擎对它的支持也有限，现在Inferact与Google Cloud合作把TPU优化成果回馈上游，等于给非英伟达路线多了一个经过公开验证的跑分参考。
硬件规格不能解释 57% 的差距：TPU v7的HBM带宽是 7380 GB/s，GB200反而更高，达到 8000 GB/s。差距更多来自TPU v7每个TensorCore带 64 MiB可软件管理VMEM的架构，这块内存足够同时装当前层数据和下一层预取权重，而Blackwell的片上内存分散在 152 个SM中、总量约 38 MiB，且由硬件自动调度。
限制也很明确：这套megakernel目前是针对Kimi K3模型结构做的定制优化，换一个模型架构需要重新适配，Inferact表示后续会扩展到更多模型架构。此外测试环境是 16 块TPU v7对 16 块GB200、双方都用vLLM推理引擎，换到其他规模或其他推理框架时结论是否成立，来源没有提供数据。
对普通读者来说这件事不必立刻行动，但如果你正在评估推理硬件选型，这个案例给出了一个少见的同条件对照：同一模型、同一推理引擎、相同芯片数量，唯一变量是芯片和底层kernel实现。它还说明推理性能的竞争正在从芯片算力转向软件编排能力，一组写过GPU推理引擎的人跑去把TPU调得更快，本身就是个信号。
Inferact公布了一组推理基准：用 16 块谷歌TPU v7 Ironwood跑Kimi K3，吞吐达到每秒 709 个token；同样 16 块英伟达GB200在同一模型、同一vLLM推理引擎下跑出每秒 452 个token，TPU速度快 57%。
做出这个成绩的是 2025 年 11 月成立、由vLLM原班人马创办的Inferact，不是月之暗面也不是谷歌。相关代码已经开源，仓库名为tpu-megakernels。
同条件对照：唯一变量是芯片和底层kernel
据量子位报道，这轮benchmark的条件是对称的：16 块TPU v7对 16 块GB200，双方都跑Kimi K3，都用vLLM推理引擎，唯一的变量是芯片和底层的kernel实现。
709 对 452 这个数字里包含DSpark推测解码的贡献。DSpark是DeepSeek提出的推理加速框架，原理是让一个小模型先快速猜出一串候选token，大模型再对这串候选做批量验证，猜对的跳过，猜错的回退重来。Inferact在TPU上跑通了这套流程，acceptance length达到 6，即每轮猜出的token里平均有 6 个能直接通过大模型验证，单步decode耗时约 8.5 毫秒。
关掉推测解码看裸速，差距依然存在：batch size为 1 时TPU每秒 249 个token，GB200为 127 个；batch size放大到 8，TPU达到每秒 865 个，GB200为 636 个。
在Qwen上差距更大。Inferact用 4 块TPU v7跑Qwen 3.8 27B，每秒 1515 个token，同配置GB200只有每秒 695 个。
Inferact用greedy decoding验证了精度：Kimi K3在TPU上GPQA-Diamond得分 94.4%，GSM8K得分 97.2%，与GPU上的结果完全一致。
megakernel把 92 层MoE焊进一个Pallas程序
Inferact的方案叫megakernel，核心思路是把模型推理时原本要调度的几百个独立小程序合并成一个大程序，消除程序切换时的带宽浪费。
大模型推理的速度瓶颈不在计算，在数据搬运。每生成一个token，模型全部权重都要从HBM搬进芯片内部高速缓存算一遍，下一个token再重新搬。传统做法把一次推理拆成几百个独立kernel排队执行，问题出在交接间隙：上一个kernel干完了，下一个还没启动，这段时间内存带宽空转。CUDA Graphs和英伟达最新的PDL技术能缩短这个间隙，但kernel之间的边界还在。
据量子位报道，Inferact把这 92 层MoE计算逻辑从头到尾塞进一个Pallas程序，一次调用走完整个模型前向传播。边界消失后，跨层权重预取顺理成章：第N层还在算MoE时，第N+1层的attention权重已经开始从HBM往片上缓存搬。
TPU的硬件特性让这种编排更容易实现。TPU v7每个TensorCore带 64 MiB的VMEM片上内存，生命周期完全交给软件管理，工程师可以精确控制何时装入什么数据、何时腾出空间；64 MiB足够同时装当前层计算数据和下一层预取权重。GPU那边，英伟达Blackwell架构的片上内存分散在 152 个SM里，总量约 38 MiB，由硬件自动调度，做类似跨层编排限制更多。
Inferact用Pallas手写整个megakernel代码，绕过默认编译工具链XLA。团队称XLA擅长优化单层计算，但跨 92 层协调数据搬运的决策分支太多，自动调度找不到最优解。绕过XLA还带来编译速度提升：耗时从XLA的 30 分钟以上降到不到 90 秒。
- TPU v7 HBM带宽 7380 GB/s，GB200 HBM带宽 8000 GB/s，带宽更高的芯片跑得更慢。
- TPU v7每TensorCore带 64 MiB VMEM，Blackwell片上内存分散在 152 个SM、总量约 38 MiB。
- megakernel目前针对Kimi K3模型结构定制，换模型架构需重新适配，Inferact称接下来会扩展到更多模型架构。
Inferact的背景与开源安排
Inferact成立于 2025 年 11 月，团队几乎就是vLLM的原始开发者。vLLM是目前开源推理引擎领域的重量级框架，支持超过 500 种模型架构，社区贡献者超过 2000 人，Meta、Google、Character.ai都用它做线上推理服务。
据量子位报道，CEO Simon Mo是vLLM项目原始维护者，伯克利EECS毕业，此前在Anyscale工作；联合创始人Woosuk Kwon是vLLM项目发起人，伯克利计算机科学博士，导师为Ion Stoica，他提出的PagedAttention算法解决了GPU显存管理碎片化问题，至今仍是vLLM核心技术；首席科学家游凯超曾获清华大学特等奖学金，在vLLM中主导分布式推理功能开发。
融资方面，Inferact今年完成 1.5 亿美元种子轮，估值 8 亿美元，a16z和Lightspeed领投，真格、红杉、Altimeter跟投。
这次的TPU megakernel来自Inferact与Google Cloud的联合工程合作。双方目标是让TPU成为vLLM的一流支持对象，所有优化成果都会回馈上游开源社区，tpu-megakernels代码仓库是这次合作的第一个公开成果。