📰 2026-07-03 · 每日技术速递
今日精选 6 篇深度技术文章,聚焦 MoE 专家并行、GPU 内核基准、代码生成评测与训练框架。
1. DeepEP:MoE 模型的专家并行通信库
来源:GitHub(DeepSeek 开源) 链接:https://github.com/deepseek-ai/DeepEP 标签:MoE · All-to-All · RDMA · 通信库
DeepEP 是 DeepSeek 开源的首个面向 MoE 训练/推理的高性能 EP 通信库:节点内 NVLink 与节点间 RDMA 的混合 All-to-All、低延迟内核(纯 RDMA 直传)、及为 prefill/decode 分别优化的普通/低时延两套模式。它把 MoE 通信从”通用集合通信”推进到”MoE 专用数据流”,是 EP 集群的事实基础设施。
核心要点:
- NVLink + RDMA 混合转发的节点间 All-to-All
- 低延迟模式:绕过 CPU、纯 RDMA 的 hook 型内核
- 面向训练的吞吐模式与面向推理的低延迟模式分离
2. KernelBench:LLM 能写出高效 GPU 内核吗?
来源:arXiv cs.LG(Stanford ICML’25 论文) 链接:https://github.com/ScalingIntelligence/KernelBench 标签:GPU Kernel · 基准评测 · 代码生成 · LLM
KernelBench 把 250 个 PyTorch 算子变成 GPU kernel 生成的标准考题,评测 LLM 生成内核的正确性与加速比。作为 LLM4Kernel 方向最常被引用的基准,它定义了 fast_p(通过率×加速)指标,2026 年新增的云端评测 pipeline 让”模型生成内核 → 云 GPU 验证”全自动闭环。
核心要点:
- 250 个分级算子任务与 fast_p 评测指标
- 主流模型在 kernel 生成任务上的能力断层分析
- 自动化评测基础设施:Modal 云 GPU 验证管线
1. SmartSpec: Speculative Decoding 最优长度的端到端求解
来源:arXiv cs.LG(SIMD 推理系统论文) 链接:https://arxiv.org/abs/2411.11062 标签:Kernel 优化 · Agent 闭环 · 部署对齐 · 基准
投机解码的草稿长度不是越长越好:过长拉高验证算力开销、过短则收益不足。SmartSpec 把草稿长度选择形式化为端到端优化问题,用请求级画像动态调整草稿长度,在 vLLM 类引擎上实现吞吐与延迟的双改善。它与 KDA 竞赛思路异曲同工:用系统反馈闭环指导决策。
核心要点:
- 草稿长度的开销-收益建模与在线求解
- 请求画像(负载/接受率)驱动的动态调整
- 引擎集成:与 continuous batching 的协同调度
6. TorchTitan:PyTorch 原生的大规模训练平台
来源:PyTorch 官方博客(TorchTitan 论文/发布文) 链接:https://pytorch.org/blog/torchtitan-composable-building-blocks-for-high-performance-llm-training/ 标签:RLHF · 训练框架 · HybridFlow · 弹性伸缩
TorchTitan 是 PyTorch 官方的大规模 LLM 训练平台:原生 FSDP/TP/PP/DP 组合、Float8 全栈支持、异步 Tensor Parallel 与 Fault Tolerance。它把分布式训练能力做成可组合积木,代替了早期 Megatron 风格的巨型 monolith,是 2026 年 PyTorch 生态训练事实入口。
核心要点:
- 4D 并行的原生可组合设计(FSDP2 + TP + PP)
- Float8 训练全栈:算子、通信与优化器协同
- 容错与 checkpoint 的工程化方案
5. 无冲突重复写:GPU 上的并发优化原语
来源:NVIDIA Developer Blog(CUDA 图与并发原语) 链接:https://developer.nvidia.com/blog/ 标签:CUDA · 并发原语 · 原子操作 · Kernel 设计
atomicAdd 与全局原子操作是许多 kernel 的隐形瓶颈。文章梳理 GPU 并发原语的正确打开方式:分段归约替代原子争用、warp 级 ballot/shuffle 的无锁协调、CUDA Graph 减少启动开销。对自研算子的工程师是常读常新的基础功。
核心要点:
- 原子操作的争用模式与分段归约优化
- Warp 级原语(ballot/shuffle)的同步成本优势
- CUDA Graph 在推理引擎中的捕获与重放
6. 推理框架的 Prefill-Decode 权衡:Chunked Prefill 深度解析
来源:技术博客(推理调度专题) 链接:https://docs.vllm.ai/en/latest/ 标签:Chunked Prefill · 调度 · TTFT · 吞吐
Chunked Prefill 把长 prompt 切块与 decode 混批执行:单块太大会阻塞 decode、太小则 prefill 效率低。文章定量分析 chunk 大小、批组成与 TTFT/吞吐的三角关系,解释为什么 2026 年主流引擎默认开启 chunked prefill 并动态调参。
核心要点:
- 长输入 prefill 的 SM 独占问题与切块动机
- chunk 大小对 TTFT 与吞吐的影响曲线
- 与 PD 分离的适用边界:何时分、何时混
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | DeepEP:MoE 专家并行通信库 | GitHub | MoE 通信 |
| 2 | KernelBench:LLM 能写出高效 GPU 内核吗 | Stanford/ICML | 基准评测 |
| 3 | SmartSpec:投机解码最优长度的端到端求解 | arXiv cs.LG | 投机解码 |
| 4 | TorchTitan:PyTorch 原生的大规模训练平台 | PyTorch Blog | 训练平台 |
| 5 | GPU 并发优化原语实战 | NVIDIA Blog | CUDA |
| 6 | Chunked Prefill 深度解析 | vLLM Docs | 调度 |
自动生成 · 2026-07-03 · jeffinchen daily tech reading list
评论