ZeRO 显存切分计算器:每张卡要装多少
训练态账本 = 权重 2B + 梯度 2B + 优化器 12B = 16 字节/参数。切到不同 ZeRO 级别、改变卡数,看单卡占用如何变化。
7B
14B
72B
120B
模型参数量
7
B
GPU 卡数 N
8
朴素 DP
ZeRO-1
切优化器
ZeRO-2
+梯度
ZeRO-3
全切
整卡持有
每卡分摊
权重 2B/参数
—
—
梯度 2B/参数
—
—
优化器 12B/参数
—
—
单卡合计
—
权重
梯度
优化器 (FP32 master + Adam 动量×2)
单卡占用
—
GB