分类: 人工智能 | 恒星不见

人工智能未读

三个可交互组件把注意力机制点出来：QKV 投影的分步推导、从打分到加权求和的完整链路（含温度滑块）、多头 reshape/transpose 的视图变换。全部数值真实可验算。

LLM Transformer 交互式最近

人工智能未读

裸金属到云原生的算力运营：K8s device plugin 与 NPU 接入、vNPU 动态切分、Volcano 的成组调度与队列管理、推理服务的弹性伸缩与多租户隔离，以及可观测体系。

AI Infra 算力调度最近

人工智能未读

大模型训练的瓶颈一半在通信。详解 all-reduce 环算法的带宽推导、RDMA/RoCE 参数面网络设计、TP/PP/DP 的通信占比账本、HCCL/NCCL 的关系，以及千卡集群的故障处理体系。

AI Infra 集群通信最近

人工智能未读

从 CUDA 栈的分层出发，逐层拆解 CANN：AscendCL 运行时接口、GE 图引擎、TBE 算子开发、HCCL 集合通信与 torch_npu 适配层，附 CUDA→NPU 迁移的工程清单与常见坑。

AI Infra 昇腾最近

人工智能未读

为什么 CPU 跑不动大模型？从计算墙、内存墙、功耗墙出发，拆解 GPU 的 SIMT/Tensor Core 设计，详解昇腾达芬奇架构的 3D Cube/Vector/Scalar 与存储层次，并覆盖端侧 NPU（RK3588）的取舍。

AI Infra 硬件架构最近

人工智能未读

从 Function Calling 协议到 ReAct 循环、记忆设计、多智能体编排与 MCP 生态，附一个不到 80 行的最小可用 Agent 实现与生产工程清单。

LLM AI Agent 最近

人工智能未读

检索增强生成的完整设计链路：语义切块、Embedding 选型、向量与 BM25 混合检索、交叉编码器重排、引用约束生成与评估指标。

LLM RAG 最近

人工智能未读

用更低的数值精度换显存与速度：线性量化原理、PTQ 与 QAT 路线、GPTQ/AWQ/GGUF 三大方案对比与选型建议，附可运行的量化代码。

LLM 模型量化最近

人工智能未读

从显存账本出发拆解 vLLM 三大支柱：KV Cache、PagedAttention 分页管理与 Continuous Batching 动态调度，外加投机解码无损加速与采样参数实践。

LLM 推理优化最近

人工智能未读

从预训练的下一个 token 预测，到 SFT 的指令微调与 Loss Masking，再到 RLHF/DPO 偏好对齐——完整梳理大模型训练三阶段的数据、方法与工程要点。

LLM 模型训练最近

人工智能未读

逐层拆解 Decoder-only Transformer：QKV 注意力与因果掩码、RoPE 位置编码、SwiGLU 前馈网络、Pre-Norm 与 RMSNorm，附 50 行最小实现与 7B 模型参数量估算。

LLM Transformer 最近

人工智能未读

分词器是大模型技术栈的最底层。本文从字符与词级方案的缺陷讲起，完整推导 BPE 算法并给出可运行的 Python 实现，覆盖 Byte-level BPE、词表大小权衡与对话模板等工程细节。

LLM 分词器最近