← Reading List
📰 技术速递

MoE 架构创新 · LLM 微调与蒸馏 · RL 推理训练 · 扩散模型加速

Tech多源前沿

📰 2026-05-09 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 MoE 架构设计、LLM 优化器一致性、自蒸馏压缩、RL 推理训练、扩散模型少步蒸馏、长上下文推理加速。


1. UniPool:面向混合专家模型的全局共享专家池

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.06665
标签:MoE · 专家路由 · Transformer · 参数效率

当前 MoE 架构强制每层独立维护一套专家集合,导致参数随层数线性增长,专家之间无法跨层复用知识。UniPool 打破这一惯例,提出在所有 Transformer 层间共享同一个全局专家池,任意层均可按需路由到池中的任意专家。实验表明,UniPool 在同等参数预算下显著提升了专家利用率和模型质量,同时降低了内存占用。

核心要点:

  • 打破每层独立专家集的固有设计,引入跨层全局共享专家池
  • 路由机制支持任意层访问全局池,实现跨层知识复用
  • 相同参数量下模型性能更强,专家负载更均衡

2. 优化器-模型一致性:使用预训练相同优化器微调可减少遗忘

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.06654
标签:LLM微调 · 灾难性遗忘 · 优化器 · 全参数微调

研究发现,在全参数微调阶段若使用与预训练相同的优化器,模型遗忘预训练知识的幅度明显低于换用其他优化器的情况。该论文系统分析了不同优化器组合对知识保留的影响,揭示了优化器状态与模型参数空间曲率之间的一致性对减少遗忘至关重要,为大模型 continual learning 提供了实践指导。

核心要点:

  • 微调阶段使用与预训练一致的优化器可显著减少灾难性遗忘
  • 优化器状态与参数空间曲率的匹配是关键机制
  • 为大模型持续学习和增量微调提供了可操作的实践建议

3. EMO:通过预训练混合专家模型实现涌现模块化

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.06630
标签:MoE · 涌现模块化 · 预训练 · 稀疏激活 · 可解释性

EMO 探索如何在预训练阶段直接诱导 MoE 模型的功能模块化,让不同专家自发地专注于特定语言或知识功能,而非随机分工。通过改进路由目标和预训练课程,EMO 能让专家出现可解释的功能分工(如句法专家、实体专家),在下游任务上表现出更好的泛化性和可解释性。

核心要点:

  • 在预训练阶段通过优化目标引导专家向功能模块化方向演化
  • 专家出现可解释的语言功能分工,提升模型透明度
  • 模块化结构有助于下游任务的参数高效微调和迁移

4. RL 能教会 LLM 长程推理吗?表达能力是关键

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.06625
标签:强化学习 · 长程推理 · LLM · 表达能力 · RLHF

该论文从理论角度分析强化学习是否能有效训练 LLM 进行长程推理,核心论点是:RL 的有效性取决于模型的表达能力。如果基础模型对目标推理路径的表达能力不足,RL 信号无法引导其学习正确的推理策略。研究提供了关于何时 RL 有效、何时无效的形式化条件,对 RLHF 和推理链训练具有直接指导意义。

核心要点:

  • RL 改善长程推理的前提是模型具备足够的表达能力覆盖目标推理轨迹
  • 给出了 RL 有效性的形式化充要条件,解释了部分 RL 训练失败的原因
  • 对 CoT、RLHF 和 Process Reward Model 的设计提供了理论依据

5. UniSD:面向大语言模型的统一自蒸馏框架

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.06558
标签:自蒸馏 · 知识蒸馏 · LLM压缩 · 推理加速 · 小模型

UniSD 提出了一个统一的自蒸馏框架,将多种 LLM 压缩范式(层剪枝蒸馏、宽度蒸馏、量化蒸馏)统一到同一训练目标下。框架允许教师模型与学生模型共享骨干网络,通过单次训练同时优化多个压缩维度,避免了逐步蒸馏带来的误差累积,在保持模型质量的同时大幅降低推理延迟。

核心要点:

  • 将层剪枝、宽度压缩、量化蒸馏统一到同一目标,避免多阶段误差积累
  • 教师-学生共享骨干网络,显著降低蒸馏训练的计算成本
  • 在多项基准上实现推理速度 2-4x 提升,质量损失极小

6. 连续时间分布匹配:扩散模型少步蒸馏新方法

来源:HuggingFace Papers
链接:https://arxiv.org/abs/2605.06376
标签:扩散模型 · 蒸馏 · 少步生成 · 分布匹配 · 图像生成

扩散模型少步蒸馏是当前图像/视频生成加速的核心技术,现有方法存在训练不稳定或分布偏移问题。该论文提出连续时间视角下的分布匹配蒸馏,通过将离散时间步蒸馏推广到连续时间域,获得更平滑的梯度信号和更稳定的训练过程,仅需 1-4 步即可生成高质量图像。

核心要点:

  • 将扩散蒸馏从离散时间步推广到连续时间域,梯度更平滑稳定
  • 1-4 步推理即可达到与全步骤可比的图像质量
  • 统一了 DMD 和 Consistency Distillation 两大范式,提供更通用的框架

7. MiA-Signature:面向长上下文理解的全局激活近似方法

来源:HuggingFace Papers
链接:https://arxiv.org/abs/2605.06416
标签:长上下文 · KV缓存 · 注意力机制 · 推理效率 · Transformer

长上下文 LLM 推理的核心瓶颈在于 KV 缓存膨胀和注意力计算复杂度。MiA-Signature 受认知科学全局点火理论启发,提出通过近似全局激活模式来压缩长序列中的关键信息,在大幅减少 KV 缓存的同时保留长程依赖的理解能力,在 128K+ token 的长上下文任务中内存占用减少超过 60%。

核心要点:

  • 受认知科学全局点火理论启发,提出全局激活近似以压缩 KV 缓存
  • 128K+ 长上下文任务中内存占用减少 60% 以上,精度几乎无损
  • 为长文档理解、多轮对话等场景提供高效推理方案

📊 今日速览

# 标题摘要 来源 方向
1 UniPool:面向混合专家模型的全局共… arXiv MoE架构
2 优化器-模型一致性:使用预训练相同优化器… arXiv LLM微调
3 EMO:通过预训练混合专家模型实现涌现模… arXiv MoE预训练
4 RL 能教会 LLM 长程推理吗?表达能… arXiv RL推理训练
5 UniSD:面向大语言模型的统一自蒸馏框… arXiv LLM蒸馏
6 连续时间分布匹配:扩散模型少步蒸馏新方法… HuggingFace 扩散加速
7 MiA-Signature:面向长上下文… HuggingFace 长上下文推理

自动生成 · 2026-05-09 · jeffinchen daily tech reading list

评论