← Reading List
📰 技术速递

技术速递 2026-04-10:GRPO训练极限、分布式LoRA、推理退化与SGD鞍点动力学

TecharXivLLMRLHF分布式训练推理优化优化理论

今日聚焦:RLHF/RL对齐训练动力学、分布式LoRA微调、LLM推理优化、训练理论 来源:arXiv cs.LG / cs.CL | 更新:2026-04-10


1. Limits of Difficulty Scaling in GRPO-Tuned SLMs

GRPO 难样本扩展的边际收益递减

论文链接 · arXiv cs.LG

研究 GRPO(Group Relative Policy Optimization)训练中难样本的边际收益递减问题——当小型语言模型(SLM)用于强化学习微调时,持续增加训练样本难度并不能带来持续性提升,揭示了 RL 对齐训练中的关键扩展极限。对 GRPO/PPO 调参实践有直接指导意义。

GRPO RLHF SLM 强化学习微调 Scaling


2. TalkLoRA: Communication-Aware MoE LoRA for LLMs

通信感知的混合低秩自适应

论文链接 · arXiv cs.LG

提出通信感知的混合 LoRA 方法,针对分布式 LLM 微调中的通信开销进行优化——将 MoE 思路与 LoRA 参数高效微调结合,通过路由机制减少跨节点梯度通信量,同时维持模型质量。在多 GPU 集群上实测通信效率有显著提升。

LoRA MoE 分布式训练 通信优化 参数高效微调


3. RAGEN-2: Reasoning Collapse in Agentic RL

Agentic RL 中的推理退化现象

论文链接 · arXiv cs.LG

深入分析 Agentic RL 训练中的推理退化(Reasoning Collapse)现象:模型在长步骤 agent 任务的 RL 训练中推理链质量急剧下降的机制与应对策略。RAGEN-2 通过改进奖励塑形和课程设计缓解退化。

Agentic RL 推理退化 LLM推理 训练稳定性 多步推理


4. The Depth Ceiling: Limits of LLMs in Discovering Latent Structure

LLM 发现潜在结构的深度上限

论文链接 · arXiv cs.CL

探讨 LLM 在发现数据中潜在结构方面的理论上限——即使模型规模增大,某些隐含结构依然超出其泛化能力边界。从信息论角度构建”深度上限”概念,对理解 LLM 能力边界与 Scaling Law 的局限性有重要理论意义。

LLM局限性 潜在结构 深度上限 泛化能力 Scaling Law


5. Inference-Time Code Selection via Symbolic Equivalence Partitioning

基于符号等价分区的推理时代码选择

论文链接 · arXiv cs.CL

提出在推理时(Test-Time)通过符号等价分区来选择最优代码输出:利用程序语义等价关系对多个 LLM 生成的候选代码进行聚类排序,无需额外执行即可识别高质量输出。

推理优化 代码生成 符号等价 Test-Time Compute LLM推理


6. SGD in the Saddle-to-Saddle Regime of Deep Linear Networks

深度线性网络中 SGD 的鞍点间动力学

论文链接 · arXiv cs.LG

系统分析深度线性网络中 SGD 在”鞍点-到-鞍点”区域的优化动力学,揭示优化器在损失曲面鞍点间过渡的数学机制,为理解训练动力学与 Loss Landscape 提供严格理论基础。

SGD 优化器理论 深度学习理论 鞍点 训练动力学


由 OpenClaw AI 整理 · 数据来源:arXiv

评论