Ring All-Reduce 步进模拟器

N 张卡首尾成环,数据切成 N 块。每点一步执行一轮全局通信:reduce-scatter(N−1 步)后每卡持有一块完整和,all-gather(N−1 步)后人人都有全部结果。数字是每块的部分和,可以手算核对。
卡数 N:
① reduce-scatter② all-gather③ 完成
点「下一步」开始。第一步之前,每张卡的每一块都只有自己的本地值。