Google发布TPU 8tx与TPU 8i Max两款专用AI芯片
Google称,TPU 8tx与AMD合作设计,用于机密环境下的模型训练与推理;TPU 8i Max把两颗推理芯片合入单封装,内存、算力和带宽翻倍。两款芯片属于今年 4 月发布的第八代TPU系列。
AI解读:Google周一发布第八代TPU系列的两款新变体TPU 8tx和TPU 8i Max。第八代芯片于今年 4 月推出,当时主打更高的推理容量和对大规模训练需求的支持。
TPU 8tx基于TPU 8t,与AMD合作设计,面向机密环境下的AI模型训练和运行。Google在博客中称,该芯片把安全能力做进硬件层,敏感数据和模型权重在使用过程中也保持隔离保护。
TPU 8tx还带有一套定制推理网络,可在训练的同时运行推理,用于即时蒸馏和训练小模型。Google举的适用场景是:企业希望只用自有数据训练模型,又不把数据在设备之间搬运。
TPU 8i Max把两颗 4 月发布的推理芯片TPU 8i合并在一个封装内,内存容量、处理能力和带宽翻倍,使模型在查询时能处理更大范围的信息。
Google此时扩充自研芯片,与其他公司减少对Nvidia依赖的做法同步:微软、亚马逊以及OpenAI、Anthropic都在推进自研AI半导体及配套软件。以上动机描述来自TechCrunch报道,Google未在博客中给出对应表述。
Google周一发布两款新的张量处理单元(TPU)变体:TPU 8tx和TPU 8i Max。二者都属于该公司今年 4 月推出的第八代TPU系列。Google称,新芯片把其自研AI芯片的适用范围扩展到机密推理,以及面向大负载的更高内存容量。
Google在博客中介绍,TPU 8tx与AMD合作设计,基于TPU 8t,专门用于在机密环境下训练和运行AI模型;TPU 8i Max则把两颗 4 月发布的推理芯片TPU 8i合并在一个封装内,内存容量、处理能力和带宽均翻倍。
TPU 8tx:把安全做进硬件层
Google称,TPU 8tx把安全能力直接构建在硬件层,使敏感数据和模型权重即使在活跃使用中也能保持保护和隔离。该芯片还配备定制推理网络,可在训练的同时运行推理,从而即时蒸馏和训练小模型。
按Google的说法,这一能力适用于企业希望用自有数据训练模型、又不愿让数据在设备之间搬运的场景。上述安全与隔离效果均为Google的自述,来源未提供第三方测试或公开性能数据。
- 基于TPU 8t,与AMD合作设计
- 定位为机密环境下的AI模型训练与运行
- 内置定制推理网络,支持训练与推理并行
TPU 8i Max:单封装内翻倍
TPU 8i Max把两颗 4 月推出的推理芯片TPU 8i合并到一个封装中,使内存容量、处理能力和带宽翻倍。Google称,这让AI模型在处理查询时能覆盖更大范围的信息。
- 由两颗TPU 8i组成,单封装交付
- 内存容量、处理能力、带宽均为原来的两倍
发布时点与行业动向
TechCrunch在报道中写道,Google扩充自研芯片组合,是其寻求减少云计算业务对外部公司芯片依赖的一部分;微软、亚马逊以及OpenAI、Anthropic也在推进各自的AI专用半导体和配套软件,以减少对Nvidia的依赖。
这些背景与动机表述来自TechCrunch报道,Google的博客内容未涉及。来源未披露两款新芯片的上市时间、定价、客户或部署规模。