← Reading List
📰 技术速递

技术速递 2026-03-22:异步 RL 训练 × 序列并行 × MoE 架构全解

TechHuggingFacearXiv多源前沿

技术速递 2026-03-22:异步 RL 训练 × 序列并行 × MoE 架构全解

聚焦方向: 大模型训练效率、RL 后训练框架、MoE 架构、长上下文训练、推理可信度 来源: Hugging Face Blog × arXiv cs.LG / cs.CL


1. Keep the Tokens Flowing: Lessons from 16 Open-Source RL Libraries

来源: Hugging Face Blog · Mar 10, 2026

核心问题: 同步 RL 训练中,数据生成(模型推理)主导 wall-clock time——32B 模型的一批 32K-token rollout 可能耗时数小时,训练 GPU 持续空闲。

解法: 将推理与训练分离到不同 GPU 池,通过 rollout buffer 连接,异步权重传输。

关键发现(对比 16 个开源库):

  • Ray 主导 orchestration(16 个库中 8 个使用)
  • NCCL broadcast 是权重传输默认方式
  • Staleness 管理:从丢弃旧样本到 importance sampling 修正各有差异
  • LoRA 支持稀疏;分布式 MoE 支持是新兴差异点

2. Ulysses Sequence Parallelism: Training with Million-Token Contexts

来源: Hugging Face Blog · Mar 9, 2026

问题: Transformer attention 计算量随序列长度平方增长,超长序列无法在单 GPU 训练。

Ulysses SP: 通过注意力头并行(attention head parallelism)将 attention 计算分布到多 GPU。

  • 支持 Accelerate / Transformers Trainer / TRL SFTTrainer
  • 实测支持百万 token 上下文训练
  • 与 Ring Attention 互补

3. Mixture of Experts (MoEs) in Transformers

来源: Hugging Face Blog · Feb 26, 2026

MoE 用多个 expert 替换 FFN 层,router 为每个 token 动态选少数 expert,实现”大容量 + 低推理成本”。

工程要点:

  • gpt-oss-20b:21B 总参数,每 token 激活 3.6B,实测 ~115 tok/s(M3 Ultra Mac)
  • 负载均衡防 expert collapse(auxiliary loss / expert choice routing)
  • transformers 库已深度支持量化与混合精度推理

4. Measuring Faithfulness Depends on How You Measure

来源: arXiv:2603.20172 · cs.CL · Mar 23, 2026

三种分类器对相同 CoT 轨迹给出的忠实度分别为 74.4%、82.6%、69.7%,单模型差距最高 30.6 个百分点,且可逆转模型排名。

启示: 跨研究比较 CoT 忠实度前,必须核对分类器方法论。


5. EvidenceRL: Reinforcing Evidence Consistency

来源: arXiv:2603.19532 · cs.CL / cs.LG · Mar 20, 2026

用 GRPO 训练时双重评分(evidence grounding + correctness),在心脏诊断和法律推理任务上大幅降低幻觉。

  • Llama-3.2-3B:F1@3 从 37.0 → 54.5,幻觉降低 5×
  • Llama-3.1-8B:Faithfulness 从 32.8% → 67.6%

*Generated: 2026-03-22 Sources: Hugging Face Blog, arXiv cs.LG/cs.CL*

评论