59 片晶圆跑 3 万亿参数:Cerebras 拆解万亿模型的部署账本
How we deploy Trillion-parameter frontier models on Cerebras
单片晶圆只有 44 GB 片上内存,而万亿参数权重需要数 TB。答案是把 59 片晶圆串成流水线,让权重不动、激活流动。
问题的算术很残酷。一片 WSE-3T 晶圆有 44 GB 片上 SRAM,而万亿参数模型的权重本身就要数 TB。Cerebras 以开源模型 Kimi K3 为例——约 3 万亿参数、69 层线性注意力加 24 层稠密层——说明如何把模型切开、摊到多片晶圆上,并以 1000 到 2000 以上的每秒 token 数运行。背景是 Kimi K3 在 Terminal-Bench 2.1 拿到 88.3%(GPT-5.6 Sol 为 88.8%),BrowseComp 为 91.2%(Sol 为 90.4%)。
第一步算层的大小:3T 参数按 4 bit 量化,原始权重载荷约 1.5 TB;除以 93 层,每层约 16 GB。第二步决定每片晶圆放几层。稠密层是全注意力,要为每个活跃请求的每个 token 存 KV,所以一片晶圆只放一层,余下 SRAM 全部留给 KV cache;线性注意力层不按 token 存 KV,每个请求只保留一个固定大小的状态,与上下文长度无关,因此一片能放两层。69 层线性加 24 层稠密,合计 59 片晶圆。
关键设计是权重不动。因为每层只有 16 GB 而晶圆有 44 GB,整层通常能完整落在片上,层不需要跨晶圆切分——跨晶圆流动的只有激活值,走 RDMA over Ethernet,每跳约 2 微秒。运行时把晶圆串成流水线:第 1 片算前两层,把激活传给第 2 片,依此类推,直到最后一片吐出下一个 token。
常见误解是流水线等于 batch size 为 1、每片都在干等。实际上流水线被不同请求填满:第 3 段处理请求 A 的 token 时,第 2 段在处理 B 的 token,第 1 段在处理 C 的。每段还可以处理一个 micro-batch,在飞请求数大致等于段数乘以 micro-batch 大小。小 micro-batch 让单请求更快,大 micro-batch 提升总吞吐——这是延迟与吞吐之间唯一的旋钮。
并发上限由 KV cache 决定:每片放了稠密层的晶圆,剩余空间要装下所有在飞请求的 KV。Cerebras 强调,评价推理系统更该看「每兆瓦每秒 token 数」,且必须在相同输出速度下比较,否则数字没有意义。按这套方法,更大的模型只是多切几片、多接几段流水线,工程路径是线性的。
- Kimi K3:约 3T 参数,69 层线性注意力加 24 层稠密层
- 共需 59 片 WSE-3T 晶圆,35 片放线性层、24 片放稠密层
- 跨晶圆只传激活值,RDMA 每跳约 2 微秒
- 目标吞吐 1000 到 2000+ tokens/s,按每兆瓦 token 数衡量



