ZeRO 显存切分计算器:每张卡要装多少

训练态账本 = 权重 2B + 梯度 2B + 优化器 12B = 16 字节/参数。切到不同 ZeRO 级别、改变卡数,看单卡占用如何变化。
整卡持有每卡分摊
权重 2B/参数——
梯度 2B/参数——
优化器 12B/参数——
单卡合计—
权重
梯度
优化器 (FP32 master + Adam 动量×2)
单卡占用 — GB