② 注意力计算:从打分到加权求和
沿用部件① 的 Q / K / V(d_k=3)。点击「下一步」走完 scores → 掩码 → softmax → 输出。点击任意格子查看它的计算式;softmax 之后可拖动温度滑块实时观察分布变化。
① scores = Q·Kᵀ/√d_k
② 因果掩码
③ softmax (按行)
④ 输出 = attn·V
点击左侧矩阵的任意单元格
这里会显示该数值的完整计算过程(点积展开 / softmax 归一化)。
🌡 温度 T =1.0
T 变小 → 分布尖锐(更确定);T 变大 → 分布平坦(更平均)
1 / 4