← Reading List
📰 技术速递

PyTorch 编译器深度解析 · MoE 推理加速 · LLM 潜在推理突破

Tech多源前沿

📰 2026-06-01 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 PyTorch 编译器优化、GPU 内核设计、LLM 推理加速、测试时计算扩展、MoE 架构执行优化。


1. PyTorch Compile 为何如此之快:内核融合机制深度解析

来源:PyTorch Blog
链接:https://pytorch.org/blog/why-is-pytorch-compile-so-fast-kernel-fusion/ 标签:PyTorch · 编译器 · 内核融合 · GPU · torch.compile

使用 torch.compile 后模型速度可提升最高 10x,其核心机制在于内核融合(Kernel Fusion)。未编译时 GPU 为每个算子单独执行一个 kernel,频繁的 HBM 读写成为瓶颈;编译器将多个逐点算子合并为单一 kernel,大幅减少显存带宽消耗。本文通过可视化工具和具体示例,系统拆解融合触发条件、图捕获流程及 Triton 代码生成全链路。

核心要点:

  • 内核融合将多次 HBM 读写合并为一次,消除”访存密集型”算子的带宽瓶颈
  • torch.compile 通过 TorchDynamo 捕获计算图、TorchInductor 生成 Triton/C++ kernel
  • 实测 transformer 块编译后内存带宽利用率可达理论峰值的 70%+
  • 支持动态形状(dynamic shapes)和图切断(graph breaks)的渐进式优化

2. 580 tps!TokenSpeed 创下 Qwen3.5-397B-A17B GPU 推理速度新纪录

来源:PyTorch Blog
链接:https://pytorch.org/blog/tokenspeed-qwen3-record/ 标签:推理加速 · MoE · TokenSpeed · Agentic · 吞吐量

TokenSpeed 推理引擎在 Qwen3.5-397B-A17B 模型上实现了 580 tokens/s 的 GPU 推理速度,专为 Agentic 工作负载设计。该成果通过系统性消除 MoE 模型推理中的各类瓶颈实现,包括 Expert 路由延迟、KV Cache 碎片化和 All-to-All 通信开销。对于需要长序列、多步骤推理的 Agent 场景,这一吞吐量提升意义重大。

核心要点:

  • 580 tps 是目前 Qwen3.5-397B-A17B 规模模型在 GPU 上的公开最高推理速度
  • 通过 Expert 并行度自适应调度降低 MoE 路由开销
  • 针对 Agentic 场景优化 KV Cache 管理,减少碎片化重分配
  • 与 PyTorch 生态深度集成,可直接复用已有训练基础设施

3. TLX Block Attention:面向 NVIDIA Blackwell GPU 的 Warp 专用稀疏注意力内核

来源:PyTorch Blog
链接:https://pytorch.org/blog/tlx-block-attention/ 标签:CUDA · Blackwell · 稀疏注意力 · Triton · Warp 专用化

TLX Block Attention 是 Meta 开发的 Triton 内核,专为 NVIDIA Blackwell 架构(B100/B200)设计,实现固定块稀疏(Fixed-Block Sparse)注意力计算。通过 Warp 专用化技术,将不同 warp 分配给不同计算阶段(加载/计算/写出),隐藏访存延迟。代码已开源于 facebookresearch/ads_model_kernel_library。

核心要点:

  • Warp 专用化(Warp Specialization)在 Blackwell 上带来显著的计算-访存重叠
  • 固定块稀疏模式适用于广告排序、推荐等具有结构化稀疏性的实际场景
  • 相比 FlashAttention-3,在稀疏率 >50% 时吞吐量领先 30%+
  • Triton 实现支持快速移植到不同 GPU 代际,无需修改 CUDA C++ 代码

4. PyTorch 2.12 正式发布:CUDA linalg 百倍提速与编译器增强

来源:PyTorch Blog
链接:https://pytorch.org/blog/pytorch-2-12-release/ 标签:PyTorch · CUDA · linalg · 编译器 · 新版本

PyTorch 2.12 正式发布,核心亮点包括:CUDA 上 linalg.eigh 批量计算提速最高 100x、torch.compile 稳定性改进、ExecuTorch 边缘推理增强。批量线性代数加速对科学计算、图神经网络等需要大量矩阵分解的场景影响显著。

核心要点:

  • batched linalg.eigh on CUDA 最高加速 100x,得益于 cuSOLVER 批量 API 集成
  • torch.compile 减少图切断(graph break)频率,动态控制流支持增强
  • ExecuTorch 新增 Apple Silicon MLX delegate,优化 M 系芯片本地推理
  • 向后兼容性保持良好,升级成本低

5. 解锁 LLM 的工作记忆:面向潜在推理的测试时计算扩展

来源:arXiv / cs.CL
链接:http://arxiv.org/abs/2605.30343v1 标签:LLM · 推理 · 工作记忆 · 测试时计算 · 潜在空间

当前扩展测试时计算(Test-Time Compute)的主流方式是生成中间 token(Chain-of-Thought),但这将推理过程与自回归生成耦合,存在冗余 token 开销。本文提出在隐层空间(latent space)进行推理迭代,让模型在”工作记忆”中反复更新表示,而非输出可见 token,从而实现更高效的测试时计算扩展。

核心要点:

  • 提出 Latent Reasoning 框架,推理在隐层进行,不产生中间输出 token
  • 解耦推理深度与序列长度,相同计算预算下推理效果优于 CoT
  • 工作记忆机制允许模型在多轮迭代中积累和修正中间状态
  • 在数学推理和代码生成任务上超越同等规模 CoT 基线

6. 基于凸重构与梯度缓存的 LLM 高效测试时微调

来源:arXiv / cs.LG
链接:http://arxiv.org/abs/2605.30337v1 标签:测试时微调 · TTFT · 凸优化 · 梯度缓存 · LLM

测试时微调(TTFT)通过检索相关序列、更新模型参数来适应每条输入,但传统方法计算成本极高。本文提出凸重构方法,将参数更新问题转化为凸优化,同时引入梯度缓存机制复用跨步骤的中间计算结果,显著降低 TTFT 的延迟和显存开销。

核心要点:

  • 凸重构将非凸参数优化转化为可快速求解的凸问题,减少迭代步数
  • 梯度缓存在多个微调步骤间共享中间激活值,节省 40%+ 的计算量
  • 方法与主流 LLM 架构兼容,可与 LoRA/QLoRA 结合使用
  • 实测在代码补全和数学推理任务上以 2-3x 速度接近全量 TTFT 效果

7. Rotary GPU:为大规模 MoE 模型探索本地执行路径

来源:arXiv / cs.AR
链接:http://arxiv.org/abs/2605.29135v1 标签:MoE · GPU 架构 · 本地推理 · Expert 路由 · 分布式

大规模 MoE 模型(如 Qwen3.5-397B-A17B)的 Expert 参数分布在多 GPU 上,传统 All-to-All 通信开销限制了推理效率。本文提出 Rotary GPU 架构思路,通过识别并利用 MoE 推理中的局部执行路径(Local Execution Paths),让部分 Expert 在本地 GPU 上执行,减少跨节点通信量。

核心要点:

  • MoE 推理中存在高频本地 Expert 偏好,可被系统利用以减少 All-to-All
  • Rotary 调度策略根据历史路由模式预测下一步 Expert 分配
  • 在 8-GPU 集群上测试,通信量减少 35%,总延迟降低约 20%
  • 思路与 TokenSpeed 等推理引擎优化方向互补,可叠加使用

📊 今日速览

# 标题摘要 来源 方向
1 PyTorch Compile 内核融合机制解析 PyTorch Blog 编译器/GPU
2 TokenSpeed 580tps Qwen3.5-397B 推理新纪录 PyTorch Blog 推理加速/MoE
3 TLX Block Attention: Blackwell Warp 专用内核 PyTorch Blog CUDA/稀疏注意力
4 PyTorch 2.12 发布:linalg 百倍提速 PyTorch Blog 框架更新
5 解锁 LLM 工作记忆的潜在推理框架 arXiv cs.CL LLM 推理
6 凸重构与梯度缓存的高效 LLM 测试时微调 arXiv cs.LG 训练/微调效率
7 Rotary GPU:MoE 模型本地执行路径探索 arXiv cs.AR GPU 架构/MoE

自动生成 · 2026-06-01 · jeffinchen daily tech reading list

评论