← Reading List
📰 技术速递

MoE架构创新、LLM全参微调优化、强化学习推理

TecharXivMoERLVRLLM

📰 2026-05-11 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 MoE架构创新、LLM全参微调优化、强化学习推理增强、智能体长程决策。


1. UniPool:面向 MoE 的全局共享专家池架构

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.06665v1
标签:MoE · 专家路由 · Transformer · 参数效率 · 分布式训练

现代 Mixture-of-Experts(MoE)架构采用”每层独立专家集”的惯例,导致深度扩展与专家数量线性绑定。本文提出 UniPool,通过构建跨所有 Transformer 层共享的全局专家池,打破逐层专家隔离,使不同层可动态路由到同一专家,大幅提升专家利用率和参数效率,同时降低显存占用。

核心要点:

  • 全局共享专家池取代逐层独立专家集,消除层间专家冗余
  • 深度扩展不再强制增加专家数量,显存效率显著改善
  • 动态跨层路由机制允许专家被多个层复用,提升专家激活多样性
  • 在多项语言建模基准上优于同规模标准 MoE 基线

2. 优化器-模型一致性:预训练与微调使用相同优化器可减少遗忘

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.06654v1
标签:LLM微调 · 灾难性遗忘 · 优化器 · 全参数微调 · 预训练

在大语言模型训练中,预训练与微调阶段通常独立选择优化器。本文发现一个重要规律:全参数微调时若使用与预训练相同的优化器,模型在下游任务上遗忘预训练知识的程度显著更低。这一发现对工业界微调流程有直接指导意义,尤其在持续学习和多任务场景下。

核心要点:

  • 优化器一致性(预训练与微调用同一类型优化器)可系统性降低灾难性遗忘
  • 该效果在多种模型规模(1B–70B)和微调任务上稳定复现
  • 为大规模生产微调流程提供了低成本、高回报的改进方案
  • 实验表明在数学推理、代码生成等任务上知识保留率明显提升

3. EMO:面向涌现模块化的 MoE 预训练方法

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.06663v1
标签:MoE · 模块化预训练 · 能力隔离 · 专家专化 · 部署效率

大语言模型通常作为整体系统部署,即使应用只需要代码、数学等特定能力也需加载全模型。EMO 提出一种预训练方案,使 MoE 的专家在训练中自然涌现出功能模块化特性,支持运行时按需激活特定能力子集,在不损失性能的前提下大幅降低推理成本。

核心要点:

  • 专家在预训练中自发形成能力分化(代码专家、数学专家、语言专家等)
  • 推理时可仅激活与任务相关的专家子集,降低 FLOPs 和内存访问
  • 无需后训练蒸馏或专家标注,模块化涌现完全来自预训练目标设计
  • 在代码、数学、多语言等子任务上实现专家级精准激活

4. 超越负样本滚出:正样本专属策略优化与隐式负梯度

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.06650v1
标签:RLVR · 策略优化 · 强化学习 · 推理增强 · LLM对齐

强化学习可验证奖励(RLVR)已成为提升 LLM 推理能力的主流范式,但现有方法依赖负样本滚出来构造对比梯度。本文证明负样本在理论上并非必要:通过对正样本梯度进行隐式分解,可在仅使用正确轨迹的情况下获得等效的负向优化信号,同时避免负样本引入的训练不稳定性。

核心要点:

  • 提出 Positive-Only Policy Optimization(POPO)框架,完全基于正确轨迹训练
  • 从正样本梯度中隐式分解出负向更新信号,理论等价于标准 RLVR
  • 消除负样本采样环节,训练效率提升约 30%,梯度方差显著降低
  • 在数学推理、逻辑推理基准上达到与对照组相当或更优的性能

5. StraTA:用战略轨迹抽象激励智能体强化学习

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.06642v1
标签:智能体RL · 长程决策 · 轨迹抽象 · LLM Agent · 奖励设计

LLM 作为交互式智能体在长程任务上的优化仍是难题,现有方法多为纯反应式,缺乏对未来状态的战略规划。StraTA 引入战略轨迹抽象机制,在稀疏奖励环境下通过高层语义摘要引导智能体进行前瞻性决策,显著提升长程任务的成功率。

核心要点:

  • 轨迹抽象层将低层动作序列压缩为高层战略意图,供策略网络使用
  • 在稀疏奖励设置下,抽象化的战略表征比原始轨迹提供更稳定的训练信号
  • 在 WebArena、ALFWorld 等多跳智能体基准上实现超越 GPT-4-level 基线的性能
  • 抽象层可热插拔,适配现有 LLM Agent 框架无需重构

6. RL 能否教会 LLM 长程推理?表达力是关键

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.06638v1
标签:强化学习 · 长程推理 · 表达力 · LLM训练 · 可控基准

强化学习在提升 LLM 推理能力方面潜力巨大,但训练扩展性与任务难度的系统性研究受限于缺乏可控基准。本文构建了任务难度可精确调控的推理基准,系统研究发现:RL 能否成功提升推理能力,根本取决于基础模型的”表达力”——即模型是否已具备生成正确推理链的潜能。

核心要点:

  • 表达力不足(模型从未生成过正确答案)时,RL 训练无法收敛到有效策略
  • 表达力充足时,RL 可以放大稀少的正确轨迹,实现推理能力的可靠提升
  • 任务难度与模型规模共同决定表达力阈值,提供了实践中 RL 适用条件的判断准则
  • 为未来 RLVR 课程学习设计(难度递增)提供了理论依据

📊 今日速览

# 标题摘要 来源 方向
1 UniPool:全局共享专家池架构 arXiv cs.LG MoE架构
2 优化器-模型一致性减少微调遗忘 arXiv cs.LG LLM微调
3 EMO:涌现模块化MoE预训练 arXiv cs.CL MoE预训练
4 正样本专属策略优化(POPO) arXiv cs.CL RLVR
5 StraTA:战略轨迹抽象激励智能体RL arXiv cs.CL Agent RL
6 RL提升LLM推理:表达力是关键 arXiv cs.CL 推理理论

自动生成 · 2026-05-11 · jeffinchen daily tech reading list

评论