Ring All-Reduce 步进模拟器
N 张卡首尾成环,数据切成 N 块。每点一步执行一轮全局通信:reduce-scatter(N−1 步)后每卡持有一块完整和,all-gather(N−1 步)后人人都有全部结果。数字是每块的部分和,可以手算核对。
卡数 N:
4
6
8
① reduce-scatter
② all-gather
③ 完成
点「下一步」开始。第一步之前,每张卡的每一块都只有自己的本地值。
← 撤销
下一步 →
自动播放
重置