① QKV 投影:一个 token 的三种角色
例句「小 猫 追 狗」,隐藏维 d=6。点击「下一步」看 X 如何被三个权重矩阵投影成 Q / K / V。
悬停任意结果单元格可查看点积计算过程。
(未训练的权重,数值无语义,重点看流程)
输入 X
Q = X·W
Q
K = X·W
K
V = X·W
V
→
投影
← 上一步
1 / 4
下一步 →
重置