📰 2026-06-01 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 PyTorch 编译器优化、GPU 内核设计、LLM 推理加速、测试时计算扩展、MoE 架构执行优化。
1. PyTorch Compile 为何如此之快:内核融合机制深度解析
来源:PyTorch Blog
链接:https://pytorch.org/blog/why-is-pytorch-compile-so-fast-kernel-fusion/
标签:PyTorch · 编译器 · 内核融合 · GPU · torch.compile
使用 torch.compile 后模型速度可提升最高 10x,其核心机制在于内核融合(Kernel Fusion)。未编译时 GPU 为每个算子单独执行一个 kernel,频繁的 HBM 读写成为瓶颈;编译器将多个逐点算子合并为单一 kernel,大幅减少显存带宽消耗。本文通过可视化工具和具体示例,系统拆解融合触发条件、图捕获流程及 Triton 代码生成全链路。
核心要点:
- 内核融合将多次 HBM 读写合并为一次,消除”访存密集型”算子的带宽瓶颈
torch.compile通过 TorchDynamo 捕获计算图、TorchInductor 生成 Triton/C++ kernel- 实测 transformer 块编译后内存带宽利用率可达理论峰值的 70%+
- 支持动态形状(dynamic shapes)和图切断(graph breaks)的渐进式优化
2. 580 tps!TokenSpeed 创下 Qwen3.5-397B-A17B GPU 推理速度新纪录
来源:PyTorch Blog
链接:https://pytorch.org/blog/tokenspeed-qwen3-record/
标签:推理加速 · MoE · TokenSpeed · Agentic · 吞吐量
TokenSpeed 推理引擎在 Qwen3.5-397B-A17B 模型上实现了 580 tokens/s 的 GPU 推理速度,专为 Agentic 工作负载设计。该成果通过系统性消除 MoE 模型推理中的各类瓶颈实现,包括 Expert 路由延迟、KV Cache 碎片化和 All-to-All 通信开销。对于需要长序列、多步骤推理的 Agent 场景,这一吞吐量提升意义重大。
核心要点:
- 580 tps 是目前 Qwen3.5-397B-A17B 规模模型在 GPU 上的公开最高推理速度
- 通过 Expert 并行度自适应调度降低 MoE 路由开销
- 针对 Agentic 场景优化 KV Cache 管理,减少碎片化重分配
- 与 PyTorch 生态深度集成,可直接复用已有训练基础设施
3. TLX Block Attention:面向 NVIDIA Blackwell GPU 的 Warp 专用稀疏注意力内核
来源:PyTorch Blog
链接:https://pytorch.org/blog/tlx-block-attention/
标签:CUDA · Blackwell · 稀疏注意力 · Triton · Warp 专用化
TLX Block Attention 是 Meta 开发的 Triton 内核,专为 NVIDIA Blackwell 架构(B100/B200)设计,实现固定块稀疏(Fixed-Block Sparse)注意力计算。通过 Warp 专用化技术,将不同 warp 分配给不同计算阶段(加载/计算/写出),隐藏访存延迟。代码已开源于 facebookresearch/ads_model_kernel_library。
核心要点:
- Warp 专用化(Warp Specialization)在 Blackwell 上带来显著的计算-访存重叠
- 固定块稀疏模式适用于广告排序、推荐等具有结构化稀疏性的实际场景
- 相比 FlashAttention-3,在稀疏率 >50% 时吞吐量领先 30%+
- Triton 实现支持快速移植到不同 GPU 代际,无需修改 CUDA C++ 代码
4. PyTorch 2.12 正式发布:CUDA linalg 百倍提速与编译器增强
来源:PyTorch Blog
链接:https://pytorch.org/blog/pytorch-2-12-release/
标签:PyTorch · CUDA · linalg · 编译器 · 新版本
PyTorch 2.12 正式发布,核心亮点包括:CUDA 上 linalg.eigh 批量计算提速最高 100x、torch.compile 稳定性改进、ExecuTorch 边缘推理增强。批量线性代数加速对科学计算、图神经网络等需要大量矩阵分解的场景影响显著。
核心要点:
batched linalg.eighon CUDA 最高加速 100x,得益于 cuSOLVER 批量 API 集成- torch.compile 减少图切断(graph break)频率,动态控制流支持增强
- ExecuTorch 新增 Apple Silicon MLX delegate,优化 M 系芯片本地推理
- 向后兼容性保持良好,升级成本低
5. 解锁 LLM 的工作记忆:面向潜在推理的测试时计算扩展
来源:arXiv / cs.CL
链接:http://arxiv.org/abs/2605.30343v1
标签:LLM · 推理 · 工作记忆 · 测试时计算 · 潜在空间
当前扩展测试时计算(Test-Time Compute)的主流方式是生成中间 token(Chain-of-Thought),但这将推理过程与自回归生成耦合,存在冗余 token 开销。本文提出在隐层空间(latent space)进行推理迭代,让模型在”工作记忆”中反复更新表示,而非输出可见 token,从而实现更高效的测试时计算扩展。
核心要点:
- 提出 Latent Reasoning 框架,推理在隐层进行,不产生中间输出 token
- 解耦推理深度与序列长度,相同计算预算下推理效果优于 CoT
- 工作记忆机制允许模型在多轮迭代中积累和修正中间状态
- 在数学推理和代码生成任务上超越同等规模 CoT 基线
6. 基于凸重构与梯度缓存的 LLM 高效测试时微调
来源:arXiv / cs.LG
链接:http://arxiv.org/abs/2605.30337v1
标签:测试时微调 · TTFT · 凸优化 · 梯度缓存 · LLM
测试时微调(TTFT)通过检索相关序列、更新模型参数来适应每条输入,但传统方法计算成本极高。本文提出凸重构方法,将参数更新问题转化为凸优化,同时引入梯度缓存机制复用跨步骤的中间计算结果,显著降低 TTFT 的延迟和显存开销。
核心要点:
- 凸重构将非凸参数优化转化为可快速求解的凸问题,减少迭代步数
- 梯度缓存在多个微调步骤间共享中间激活值,节省 40%+ 的计算量
- 方法与主流 LLM 架构兼容,可与 LoRA/QLoRA 结合使用
- 实测在代码补全和数学推理任务上以 2-3x 速度接近全量 TTFT 效果
7. Rotary GPU:为大规模 MoE 模型探索本地执行路径
来源:arXiv / cs.AR
链接:http://arxiv.org/abs/2605.29135v1
标签:MoE · GPU 架构 · 本地推理 · Expert 路由 · 分布式
大规模 MoE 模型(如 Qwen3.5-397B-A17B)的 Expert 参数分布在多 GPU 上,传统 All-to-All 通信开销限制了推理效率。本文提出 Rotary GPU 架构思路,通过识别并利用 MoE 推理中的局部执行路径(Local Execution Paths),让部分 Expert 在本地 GPU 上执行,减少跨节点通信量。
核心要点:
- MoE 推理中存在高频本地 Expert 偏好,可被系统利用以减少 All-to-All
- Rotary 调度策略根据历史路由模式预测下一步 Expert 分配
- 在 8-GPU 集群上测试,通信量减少 35%,总延迟降低约 20%
- 思路与 TokenSpeed 等推理引擎优化方向互补,可叠加使用
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | PyTorch Compile 内核融合机制解析 | PyTorch Blog | 编译器/GPU |
| 2 | TokenSpeed 580tps Qwen3.5-397B 推理新纪录 | PyTorch Blog | 推理加速/MoE |
| 3 | TLX Block Attention: Blackwell Warp 专用内核 | PyTorch Blog | CUDA/稀疏注意力 |
| 4 | PyTorch 2.12 发布:linalg 百倍提速 | PyTorch Blog | 框架更新 |
| 5 | 解锁 LLM 工作记忆的潜在推理框架 | arXiv cs.CL | LLM 推理 |
| 6 | 凸重构与梯度缓存的高效 LLM 测试时微调 | arXiv cs.LG | 训练/微调效率 |
| 7 | Rotary GPU:MoE 模型本地执行路径探索 | arXiv cs.AR | GPU 架构/MoE |
自动生成 · 2026-06-01 · jeffinchen daily tech reading list
评论