← Reading List
📰 技术速递

MoE 加速、量化与分布式训练前沿

Tech多源前沿

📰 2026-08-28 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 MoE 推理加速、混合精度量化、RL 后训练、模型剪枝、显存容量扩展、扩散模型加速与分布式训练互连。


1. ExFold:面向 MoE 预填充-解码的无训练统一专家折叠加速

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.24938 标签:MoE · 推理加速 · 无训练 · 预填充解码 · 专家折叠

MoE 模型通过稀疏专家激活在控制每 token 算力的同时扩展容量,但低延迟 MoE 服务面临预填充与解码两阶段瓶颈不同的挑战——预填充受 token 级专家计算主导,解码受批级激活专家集的内存流量约束。现有无训练加速方法只优化单一资源代理(单 token 执行的专家或批次激活的专家),ExFold 提出统一的「专家折叠」方案同时建模两阶段,无需微调即可加速 MoE 推理。

核心要点:

  • MoE 服务的预填充与解码存在本质不同的瓶颈,单一代理优化难以兼顾
  • 提出统一专家折叠(Expert Folding),协同优化两阶段资源使用
  • 训练无关(training-free),可直接加速现有 MoE 部署

2. FAMPWQ:基于 Fisher 信息的自适应混合精度权重量化

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.24945 标签:LLM量化 · 混合精度 · Fisher信息 · 低比特 · 边缘部署

LLM 庞大的资源需求阻碍其在资源受限设备上的部署,模型量化是有效手段,但传统量化因统一比特宽或简单启发式敏感度评估而带来严重性能下降。FAMPWQ 提出基于 Fisher 信息的自适应混合精度权重量化,按层自适应分配比特宽,在压缩比与精度间取得更好平衡。

核心要点:

  • 传统量化统一比特宽或启发式敏感度评估导致严重精度损失
  • 利用 Fisher 信息衡量权重重要性,逐层自适应分配混合精度
  • 面向 LLM 推理的低位宽高效部署

3. 揭开语言模型强化学习后训练的「黑箱」

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.24949 标签:RL后训练 · 可验证奖励 · 对齐 · 推理训练 · 方法论

RL 后训练已成为提升 LLM 推理、数学与编码能力的强框架,但经典 RL 的原理对多数研究者仍是「黑箱」。本文对 RL 后训练算法逐步解构,在受控简化环境中剖析带可验证奖励(RLVR)的机制,揭示训练结果究竟由哪些因素塑造。

核心要点:

  • 系统性解构 RL 后训练每一步的内在机制
  • 在受控环境中剥离 RLVR 的作用原理
  • 帮助从业者理解后训练「到底发生了什么」

4. REP-LIE:基于低秩重要性估计的 Transformer 资源高效剪枝

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.24973 标签:模型剪枝 · Transformer · 低秩 · 重要性估计 · 高效微调

大规模预训练 Transformer 的计算与显存开销成为部署障碍,传统剪枝依赖全梯度重要性估计且需先微调,资源消耗难以承受。REP-LIE 在微调过程中实现资源高效剪枝,用低秩重要性估计替代全梯度计算,显著降低剪枝成本。

核心要点:

  • 传统剪枝需全梯度重要性估计与先期微调,开销大
  • 以低秩重要性估计替代全梯度,降低资源需求
  • 可在微调过程中同步完成剪枝

5. FLINT:利用高带宽闪存实现容量可扩展的 LLM 推理加速

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.25062 标签:LLM推理 · 显存容量 · 高带宽闪存 · 权重预取 · 近加速器存储

LLM 推理越来越受限于加速器显存容量而非算力,在单卡与小节点系统中尤为突出。HBF 是新兴的 3D 堆叠 NAND 闪存技术,可提供多 TB 近加速器容量,是存放 LLM 权重的理想容量层;FLINT 针对现有 HBF 方案粗粒度静态预取等落地挑战提出改进,实现容量可扩展的推理加速。

核心要点:

  • LLM 推理瓶颈正从算力转向加速器显存容量
  • HBF 3D 堆叠闪存提供多 TB 近加速器权重存储层
  • FLINT 解决粗粒度静态预取等落地难题

6. APT:基于注意力概率引导的剪枝与量化加速扩散 Transformer

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.25380 标签:DiT · 扩散模型 · 注意力剪枝 · 量化 · 推理加速

扩散 Transformer(DiT)凭借可扩展性与画质成为 SOTA,但其自注意力计算开销随输出分辨率四次方增长,导致高分辨率图像/视频生成延迟极高。APT 提出以注意力概率引导的剪枝与量化,针对性压缩 DiT 冗余注意力,显著降低生成延迟。

核心要点:

  • DiT 自注意力开销随分辨率呈四次方增长
  • 以注意力概率引导剪枝与量化,精准压缩冗余
  • 面向高分辨率图像/视频生成的低延迟加速

7. 晶圆级光互连的 MoE 训练热调谐开销与铁电缓解方案

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.24637 标签:分布式训练 · 光互连 · MoE · 热调谐 · 晶圆级

LLM(尤其 MoE)规模化加剧了互连需求,因为专家并行执行是通信密集的。基于密集波分复用(DWDM)的晶圆级光互连提供更高带宽,但传统基于微环谐振器(MRR)的链路依赖热光调谐,易受负载引起的热波动影响。本文对 MoE 工作负载下晶圆级光互连做跨层分析,并提出铁电(ferroelectric)基缓解方案。

核心要点:

  • MoE 专家并行使互连成为通信瓶颈
  • DWDM 晶圆级光互连受 MRR 热光调谐的热波动困扰
  • 跨层分析 + 铁电基缓解,提升训练互连稳定性

📊 今日速览

# 标题摘要 来源 方向
1 ExFold:面向 MoE 预填充-解码的无训练统一专家折叠加速 arXiv cs.LG MoE推理加速
2 FAMPWQ:基于 Fisher 信息的自适应混合精度权重量化 arXiv cs.LG LLM量化
3 揭开语言模型强化学习后训练的「黑箱」 arXiv cs.LG RL后训练
4 REP-LIE:基于低秩重要性估计的 Transformer 资源高效剪枝 arXiv cs.LG 模型剪枝
5 FLINT:利用高带宽闪存实现容量可扩展的 LLM 推理加速 arXiv cs.AR 显存/容量
6 APT:基于注意力概率引导的剪枝与量化加速扩散 Transformer arXiv cs.AR 扩散加速
7 晶圆级光互连的 MoE 训练热调谐开销与铁电缓解方案 arXiv cs.AR 分布式训练

自动生成 · 2026-08-28 · jeffinchen daily tech reading list

评论