← Reading List
📰 技术速递

MoE推理加速 · 扩散LLM并行 · 量化优化 · PyTorch 2.12

Tech多源前沿

📰 2026-05-14 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 MoE训练/推理加速、扩散语言模型并行、块浮点量化优化、大规模ML芯片互联、LLM多轮服务优化及 PyTorch 框架更新。


1. Sieve: 面向动态演化MoE模型的专家感知PIM加速

来源:cs.AR · arXiv
链接:https://arxiv.org/abs/2605.11277
标签:MoE推理 · PIM加速 · 硬件加速器 · 内存计算 · LLM

MoE(专家混合)已成为扩展LLM的主流架构,但其推理特性与现有PIM(Processing-In-Memory)加速器的假设之间存在严重错配。随着MoE模型持续演化,专家激活模式高度动态,传统静态调度策略难以适应。Sieve提出一种动态专家感知的PIM加速方案,在运行时自适应地调度专家计算,显著降低数据搬运开销,提升MoE推理吞吐。

核心要点:

  • MoE推理的专家激活具有动态性,现有PIM方案因静态调度存在大量无效内存访问
  • Sieve引入专家感知路由与PIM协同机制,运行时动态决策哪些专家在内存侧计算
  • 在主流MoE模型上实现推理吞吐量和能效的显著提升,优于现有PIM基线

2. DisagMoE: 通过解耦AF-Pipe并行实现计算-通信重叠的MoE训练

来源:cs.LG · arXiv
链接:https://arxiv.org/abs/2605.11005
标签:MoE训练 · 分布式训练 · 通信优化 · 流水线并行 · 大规模LLM

MoE架构通过稀疏激活支持万亿参数LLM训练,但专家并行(EP)策略存在严重的全局All-to-All通信瓶颈。DisagMoE提出解耦异步流水线并行(AF-Pipe),将计算和通信流解耦并异步重叠,在不改变模型结构的前提下大幅消除通信等待时间,显著提升万亿参数MoE模型的训练效率。

核心要点:

  • 专家并行的All-to-All通信在大规模MoE训练中是关键瓶颈,导致GPU严重空转
  • AF-Pipe将前向/反向计算流与专家通信流解耦,通过异步调度实现真正重叠
  • 在标准MoE基准上训练吞吐提升显著,通信开销降低至近乎零等待

3. LEAP: 通过前瞻早收敛Token检测解锁扩散语言模型的并行能力

来源:cs.LG · arXiv
链接:https://arxiv.org/abs/2605.10980
标签:扩散语言模型 · 推理加速 · 并行解码 · Token检测 · dLLM

扩散语言模型(dLLM)通过全位置并行去噪生成文本,但其并行效率受限于条件独立假设——并非所有token同时收敛。LEAP提出「前瞻早收敛检测」机制:在每步去噪中提前识别已收敛的token并冻结,避免对收敛token的重复计算,从而在保证生成质量的同时大幅降低推理延迟和计算成本。

核心要点:

  • dLLM推理的并行瓶颈在于大量token仍在迭代去噪而并非同步收敛
  • LEAP通过前瞻机制预测token收敛时机,早于标准阈值提前确定token值
  • 在多个dLLM基线上实现1.5-3倍以上推理加速,同时维持生成质量

4. 搜索你的块浮点缩放因子!微缩放格式下的量化优化

来源:cs.AR · arXiv
链接:https://arxiv.org/abs/2605.12464
标签:量化 · 块浮点 · 微缩放格式 · 推理加速 · GPU量化

量化是加速生成模型推理的标准手段,GPU硬件已开始原生支持微缩放(Microscaling, MX)格式。然而现有量化方法对块浮点缩放因子的搜索策略研究不足,导致量化精度损失。本文系统研究了块浮点缩放因子的优化方法,提出基于搜索的缩放策略,在MX格式约束下显著提升量化模型的精度-效率权衡。

核心要点:

  • 现代GPU(如Blackwell)原生支持MX格式,但缩放因子设置方式对精度影响显著
  • 提出针对块浮点格式的缩放因子搜索算法,替代默认的最大值对齐策略
  • 在多个LLM基准上,量化后精度损失大幅降低,逼近全精度性能

5. 面向大规模ML加速器的轻量高吞吐集合通信NoC设计

来源:cs.AR · arXiv
链接:https://arxiv.org/abs/2603.26438
标签:片上网络 · ML加速器 · 集合通信 · AllReduce · 分布式推理

ML模型规模的指数级增长推动了片内千核互联的需求。现有NoC设计在支持ML训练/推理所需的集合通信操作(AllReduce、AllGather等)时存在高延迟和资源占用大的问题。本文提出一种轻量级、高吞吐、支持集合通信的NoC架构,通过协议级优化将集合操作原语集成到网络层,显著降低通信延迟和硬件开销。

核心要点:

  • ML加速器芯片集成数千个计算单元,片内集合通信成为性能关键路径
  • 提出集合感知的NoC路由与缓冲策略,将AllReduce等操作的延迟降低40%以上
  • 硬件面积开销相比传统NoC+软件集合通信方案减少30%,适合大规模SoC集成

6. SOMA: 基于小语言模型的高效多轮LLM服务

来源:cs.CL · arXiv
链接:https://arxiv.org/abs/2605.11317
标签:LLM推理服务 · KV Cache · 多轮对话 · 小模型 · 推理效率

LLM在多轮对话场景中每轮均需重新处理全部历史上下文,导致KV Cache线性增长,推理延迟和显存占用随对话轮数爆炸式上升。SOMA提出用小语言模型(SLM)替代LLM处理历史轮次的KV Cache压缩,将长历史压缩为紧凑表示后再由LLM生成当前轮响应,在保持回复质量的同时大幅降低多轮场景下的延迟和显存消耗。

核心要点:

  • 多轮对话中历史KV Cache随轮数线性增长,是LLM推理服务的主要开销来源
  • SOMA引入SLM对历史轮次进行语义压缩,生成紧凑上下文表示供LLM消费
  • 在多轮对话基准上,端到端延迟降低50%以上,显存占用减少60%,质量无明显损失

7. PyTorch 2.12 发布:CUDA线性代数提速100倍与多项关键更新

来源:PyTorch Blog
链接:https://pytorch.org/blog/pytorch-2-12-release-blog/
标签:PyTorch · CUDA · 线性代数 · 深度学习框架 · 版本发布

PyTorch 2.12正式发布,带来多项性能突破。最引人注目的是CUDA上批量linalg.eigh操作性能提升高达100倍,对Transformer等需要大量矩阵特征分解操作的模型训练影响显著。此外本次发布还包含编译器优化、分布式训练改进以及对新一代CUDA硬件的支持增强。

核心要点:

  • CUDA批量linalg.eigh(特征值分解)性能提升高达100倍,对需要大量矩阵运算的训练任务影响重大
  • torch.compile进一步完善,支持更多动态shape场景,减少图中断
  • 分布式训练模块更新,提升大规模多机训练的稳定性和效率

📊 今日速览

# 标题摘要 来源 方向
1 Sieve: 面向动态演化MoE模型的专… cs.AR MoE · PIM加速
2 DisagMoE: 通过解耦AF-Pip… cs.LG 分布式训练 · MoE
3 LEAP: 通过前瞻早收敛Token检测… cs.LG 扩散LLM · 推理加速
4 搜索你的块浮点缩放因子!微缩放格式下的量… cs.AR 量化 · 微缩放
5 面向大规模ML加速器的轻量高吞吐集合通信… cs.AR 芯片互联 · ML加速
6 SOMA: 基于小语言模型的高效多轮LL… cs.CL LLM推理服务
7 PyTorch 2.12 发布:CUDA… PyTorch Blog 深度学习框架

自动生成 · 2026-05-14 · jeffinchen daily tech reading list

评论