① QKV 投影:一个 token 的三种角色

例句「小 猫 追 狗」,隐藏维 d=6。点击「下一步」看 X 如何被三个权重矩阵投影成 Q / K / V。悬停任意结果单元格可查看点积计算过程。(未训练的权重,数值无语义,重点看流程)
输入 X
Q = X·WQ
K = X·WK
V = X·WV
1 / 4