📰 2026-05-11 · 每日技术速递
今日精选 6 篇深度技术文章,覆盖 MoE架构创新、LLM全参微调优化、强化学习推理增强、智能体长程决策。
1. UniPool:面向 MoE 的全局共享专家池架构
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.06665v1
标签:MoE · 专家路由 · Transformer · 参数效率 · 分布式训练
现代 Mixture-of-Experts(MoE)架构采用”每层独立专家集”的惯例,导致深度扩展与专家数量线性绑定。本文提出 UniPool,通过构建跨所有 Transformer 层共享的全局专家池,打破逐层专家隔离,使不同层可动态路由到同一专家,大幅提升专家利用率和参数效率,同时降低显存占用。
核心要点:
- 全局共享专家池取代逐层独立专家集,消除层间专家冗余
- 深度扩展不再强制增加专家数量,显存效率显著改善
- 动态跨层路由机制允许专家被多个层复用,提升专家激活多样性
- 在多项语言建模基准上优于同规模标准 MoE 基线
2. 优化器-模型一致性:预训练与微调使用相同优化器可减少遗忘
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.06654v1
标签:LLM微调 · 灾难性遗忘 · 优化器 · 全参数微调 · 预训练
在大语言模型训练中,预训练与微调阶段通常独立选择优化器。本文发现一个重要规律:全参数微调时若使用与预训练相同的优化器,模型在下游任务上遗忘预训练知识的程度显著更低。这一发现对工业界微调流程有直接指导意义,尤其在持续学习和多任务场景下。
核心要点:
- 优化器一致性(预训练与微调用同一类型优化器)可系统性降低灾难性遗忘
- 该效果在多种模型规模(1B–70B)和微调任务上稳定复现
- 为大规模生产微调流程提供了低成本、高回报的改进方案
- 实验表明在数学推理、代码生成等任务上知识保留率明显提升
3. EMO:面向涌现模块化的 MoE 预训练方法
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.06663v1
标签:MoE · 模块化预训练 · 能力隔离 · 专家专化 · 部署效率
大语言模型通常作为整体系统部署,即使应用只需要代码、数学等特定能力也需加载全模型。EMO 提出一种预训练方案,使 MoE 的专家在训练中自然涌现出功能模块化特性,支持运行时按需激活特定能力子集,在不损失性能的前提下大幅降低推理成本。
核心要点:
- 专家在预训练中自发形成能力分化(代码专家、数学专家、语言专家等)
- 推理时可仅激活与任务相关的专家子集,降低 FLOPs 和内存访问
- 无需后训练蒸馏或专家标注,模块化涌现完全来自预训练目标设计
- 在代码、数学、多语言等子任务上实现专家级精准激活
4. 超越负样本滚出:正样本专属策略优化与隐式负梯度
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.06650v1
标签:RLVR · 策略优化 · 强化学习 · 推理增强 · LLM对齐
强化学习可验证奖励(RLVR)已成为提升 LLM 推理能力的主流范式,但现有方法依赖负样本滚出来构造对比梯度。本文证明负样本在理论上并非必要:通过对正样本梯度进行隐式分解,可在仅使用正确轨迹的情况下获得等效的负向优化信号,同时避免负样本引入的训练不稳定性。
核心要点:
- 提出 Positive-Only Policy Optimization(POPO)框架,完全基于正确轨迹训练
- 从正样本梯度中隐式分解出负向更新信号,理论等价于标准 RLVR
- 消除负样本采样环节,训练效率提升约 30%,梯度方差显著降低
- 在数学推理、逻辑推理基准上达到与对照组相当或更优的性能
5. StraTA:用战略轨迹抽象激励智能体强化学习
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.06642v1
标签:智能体RL · 长程决策 · 轨迹抽象 · LLM Agent · 奖励设计
LLM 作为交互式智能体在长程任务上的优化仍是难题,现有方法多为纯反应式,缺乏对未来状态的战略规划。StraTA 引入战略轨迹抽象机制,在稀疏奖励环境下通过高层语义摘要引导智能体进行前瞻性决策,显著提升长程任务的成功率。
核心要点:
- 轨迹抽象层将低层动作序列压缩为高层战略意图,供策略网络使用
- 在稀疏奖励设置下,抽象化的战略表征比原始轨迹提供更稳定的训练信号
- 在 WebArena、ALFWorld 等多跳智能体基准上实现超越 GPT-4-level 基线的性能
- 抽象层可热插拔,适配现有 LLM Agent 框架无需重构
6. RL 能否教会 LLM 长程推理?表达力是关键
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.06638v1
标签:强化学习 · 长程推理 · 表达力 · LLM训练 · 可控基准
强化学习在提升 LLM 推理能力方面潜力巨大,但训练扩展性与任务难度的系统性研究受限于缺乏可控基准。本文构建了任务难度可精确调控的推理基准,系统研究发现:RL 能否成功提升推理能力,根本取决于基础模型的”表达力”——即模型是否已具备生成正确推理链的潜能。
核心要点:
- 表达力不足(模型从未生成过正确答案)时,RL 训练无法收敛到有效策略
- 表达力充足时,RL 可以放大稀少的正确轨迹,实现推理能力的可靠提升
- 任务难度与模型规模共同决定表达力阈值,提供了实践中 RL 适用条件的判断准则
- 为未来 RLVR 课程学习设计(难度递增)提供了理论依据
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | UniPool:全局共享专家池架构 | arXiv cs.LG | MoE架构 |
| 2 | 优化器-模型一致性减少微调遗忘 | arXiv cs.LG | LLM微调 |
| 3 | EMO:涌现模块化MoE预训练 | arXiv cs.CL | MoE预训练 |
| 4 | 正样本专属策略优化(POPO) | arXiv cs.CL | RLVR |
| 5 | StraTA:战略轨迹抽象激励智能体RL | arXiv cs.CL | Agent RL |
| 6 | RL提升LLM推理:表达力是关键 | arXiv cs.CL | 推理理论 |
自动生成 · 2026-05-11 · jeffinchen daily tech reading list
评论