标签: 集群通信 | 恒星不见

互动

最近评论

<blockquote><p>别让谁去改变了你，你是你或是妳都行，会有人全心地爱你</p></blockquote><p>寻找真实的自我需要莫大的勇气，请允许我献上最真心的祝福：愿长生不老，永远不死，死了也能原地复活，爱你哟😘</p>

<p>4+4</p>

Hello World

测试评论

标签

寻找感兴趣的领域

文章

微信
支付宝

交互式 1 算力调度 1 集群通信 1 昇腾 1 硬件架构 1 AI Infra 4 AI Agent 1 RAG 1 模型量化 1 推理优化 1 模型训练 1 Transformer 2 分词器 1 LLM 8 Linux 3 面经 0 FPGA 2 Linux驱动 4 开发环境 0 VSCode 0 社会科学 1 计算机视觉 1 misc 1

千卡训练集群：互联网络、集合通信与故障容忍

人工智能未读

千卡训练集群：互联网络、集合通信与故障容忍

大模型训练的瓶颈一半在通信。详解 all-reduce 环算法的带宽推导、RDMA/RoCE 参数面网络设计、TP/PP/DP 的通信占比账本、HCCL/NCCL 的关系，以及千卡集群的故障处理体系。

AI Infra 集群通信最近