标签: Transformer | 恒星不见

互动

最近评论

<blockquote><p>别让谁去改变了你，你是你或是妳都行，会有人全心地爱你</p></blockquote><p>寻找真实的自我需要莫大的勇气，请允许我献上最真心的祝福：愿长生不老，永远不死，死了也能原地复活，爱你哟😘</p>

<p>4+4</p>

Hello World

测试评论

标签

寻找感兴趣的领域

文章

微信
支付宝

交互式 1 算力调度 1 集群通信 1 昇腾 1 硬件架构 1 AI Infra 4 AI Agent 1 RAG 1 模型量化 1 推理优化 1 模型训练 1 Transformer 2 分词器 1 LLM 8 Linux 3 面经 0 FPGA 2 Linux驱动 4 开发环境 0 VSCode 0 社会科学 1 计算机视觉 1 misc 1

QKV 注意力：交互式图解，一步一步"算"懂 Attention

人工智能未读

QKV 注意力：交互式图解，一步一步"算"懂 Attention

三个可交互组件把注意力机制点出来：QKV 投影的分步推导、从打分到加权求和的完整链路（含温度滑块）、多头 reshape/transpose 的视图变换。全部数值真实可验算。

LLM Transformer 交互式最近

Transformer 架构详解：从注意力机制到现代 LLM 的工程演进

人工智能未读

Transformer 架构详解：从注意力机制到现代 LLM 的工程演进

逐层拆解 Decoder-only Transformer：QKV 注意力与因果掩码、RoPE 位置编码、SwiGLU 前馈网络、Pre-Norm 与 RMSNorm，附 50 行最小实现与 7B 模型参数量估算。

LLM Transformer 最近