今日精选 6 篇技术文章/论文,聚焦混合专家模型系统、低精度训练与 GPU 内核自动化。所有链接均为真实可溯源来源。
1. MXFP8 + DeepEP:DeepSeek V3 在 B200 上的预训练加速
来源: PyTorch Blog 标签: 低精度训练 · MoE · DeepEP
要点: PyTorch 团队联合报告:在 B200 上用微缩浮点 MXFP8 替代 BF16 做主干计算,配合 DeepEP 的 MoE all-to-all 通信优化,DeepSeek V3 规格的预训练吞吐提升最高 41%。文章详细拆解了 FP8 下的 loss spike 抑制技巧(缩放因子按块微缩、通信量化与计算量化解耦)。
点评: MoE 的训练瓶颈早已从 FLOPs 转移到 expert 路由的通信上。”数值格式 + 通信库”的协同设计是 2026 年训练系统的主战场,这篇文章是少有的端到端公开数据。
2. 线性注意力 + RoPE:长上下文的另一种解法
来源: arXiv cs.LG 标签: 线性注意力 · 长上下文 · 位置编码
要点: 线性注意力把 KV 缓存从 $O(n)$ 降到 $O(1)$,但与 RoPE 等旋转位置编码原则上不兼容(旋转破坏线性注意力的结合律)。该工作给出可微的折中方案,使线性注意力模型也能享受 RoPE 的外推能力,在 1M token 上下文的检索任务上接近全注意力基线。
点评: 长上下文的战争有两条路线:继续硬扛 Softman 的 KV 压缩(MLA、量化缓存),或换掉注意力本体。这条工作说明”换本体”路线在 2026 年已能过工程可用线。
3. KernelBench 生态一年后:从论文基准到生产工具链
来源: GitHub - ScalingIntelligence/KernelBench 标签: GPU内核 · AI Agent · 评估基准
要点: KernelBench 开源一年后的生态盘点:衍生工作(GPU Kernel Scientist、Astra 等)把”LLM 写内核”从单轮生成推进到多轮反馈闭环;评测协议本身成为各大 labs 内部工具链的标配组件。当前最好系统在中等难度算子上的专家匹配率已过半。
点评: 内核工程师的岗位没有被替代,但工作内容正在改变:从”手写 kernel”变成”设计反馈环境 + 审核 AI 产出”。评估协议成为新的稀缺资产。
4. Flight Recorder 实战:一次万卡训练 hang 的定位复盘
来源: PyTorch Blog 标签: 分布式训练 · NCCL · 故障定位
要点: 延伸阅读 PyTorch Flight Recorder 的设计文档:集合通信埋点的常态开销控制在 1% 以内,超时时自动导出各 rank 的 record-and-replay 时间线。文章给出的定位案例显示,多数”NCCL 超时”根因其实是上游 Dataloader 或 CPU 侧的隐式同步。
点评: 大模型训练故障定位的范式正在从”看日志猜”转向”拿证据说话”。凡是自建训练平台的团队,都值得把这类记录仪列为基础设施必选项。
5. 编译器视角的推理优化:TorchInductor 的动态形状实战
来源: PyTorch Dev-discuss 标签: 编译器 · 动态形状 · 推理服务
要点: 推理服务面对的 batch/序列长度千变万化,静态编译缓存命中率低。TorchInductor 的动态形状(dynamic shapes)路线用符号形状 + 自动 bucketing,让一份编译产物覆盖大部分请求形态,实测减少 80% 以上的重编译。
点评: “编译缓存命中”是推理引擎的隐形 KPI。vLLM、SGLang 的 graph cache 与 TorchInductor 的 dynamic shapes 本质上在解决同一个问题,值得对照阅读。
6. 开源推理栈的一等公民竞争:ROCm 与 CUDA 的差距量化
来源: Tom’s Hardware 标签: ROCm · AMD · 生态
要点: 随着 MI400 临近,社区对 ROCm 与 CUDA 在主流推理栈(vLLM/SGLang/TensorRT-LLM 对照 ROCm 等价物)上的覆盖度做了逐算子对照:核心 Transformer 路径已无功能差距,差距集中在长尾算子与调优档案(tuning profiles)的数量上。
点评: 硬件多元化的最后一公里不是”能不能跑”,而是”跑得好不好”。调优档案的积累是个苦功夫,也是 AMD 2026 年能否真正分流 NVIDIA 需求的胜负手。
今日主线:训练侧看”数值格式×通信”协同设计(MXFP8+DeepEP),推理侧看编译器与缓存策略,内核侧看 AI 自动化生态成型。系统层的创新密度明显高于模型结构层。
评论