今日技术速递聚焦:RLHF/RLVR 训练效率优化、合成数据参数知识注入、推理时安全性机制、LLM 几何表示与机制可解释性研究,以及神经网络涌现(Grokking)的最新机制发现。
1. RLVR 在线剪枝:生成时即剪,推理更快更强
| 来源: arXiv cs.CL | 论文链接 |
RLVR(带可验证奖励的强化学习)大幅提升了 LLM 推理能力,但 rollout 采样效率低下是主要瓶颈。本文提出在线 rollout 剪枝方法:在生成过程中实时识别并丢弃低质量候选序列,既减少了推理计算开销,又改善了策略梯度信号质量。实验表明该方法在多个数学推理 benchmark 上同时提升速度和准确率,是 RLHF/RLVR 训练加速的新思路。
RLHF RLVR 推理加速 LLM训练
2. 合成混合训练:突破 RAG 的参数知识扩展之路
| 来源: arXiv cs.LG | 论文链接 |
合成数据增强是让语言模型习得数据匮乏领域新知识的重要手段,但朴素扩展常遇质量天花板。本文探讨了超越 RAG 检索增强的参数化知识获取方法,提出混合训练策略(结合真实数据与多样合成数据),以更高效地将外部知识内化为模型权重,减少推理时检索依赖。
合成数据 知识注入 RAG LLM训练
3. SafeMath:推理时安全性反而提升数学准确率
| 来源: arXiv cs.CL | 论文链接 |
主流观点认为推理阶段安全约束会损害模型能力。本文在数学推理任务上发现反直觉现象:推理时安全性机制反而能提升数学解题准确率,揭示安全过滤可能作为隐式错误剪枝机制,为「安全与能力权衡」的对齐研究提供新的实证视角。
推理时安全 数学推理 LLM对齐 安全能力权衡
4. 离散逻辑的几何代价:LLM 表示空间的流形动力学
| 来源: arXiv cs.LG | 论文链接 |
LLM 在连续语义空间中泛化能力出色,却在涉及严格离散逻辑的任务上频频失误。本文从几何视角分析 LLM 中数字与逻辑表示的流形动力学,量化上下文驱动的离散化代价,为理解大模型系统性推理失败提供机制性解释。
LLM可解释性 表示学习 推理机制 流形
5. 逐轮隐式策略优化:让 LLM 主动引导对话
| 来源: arXiv cs.LG | 论文链接 |
在多轮人机协作中如何让 LLM 主动引导对话是核心挑战。本文提出隐式逐轮策略优化(ITPO),无需显式奖励标注即可使模型学会主动交互策略,通过从对话历史中反向提取策略偏好,可直接应用于 RLHF fine-tuning 流程。
多轮对话 策略优化 RLHF 主动交互
6. Grokking 前的潜在算法结构:ReLU 网络机制性研究
| 来源: arXiv cs.LG | 论文链接 |
Grokking 现象(验证准确率在训练收敛后突然飙升)机制尚不明确。本文发现,准确率涌现之前,网络内部已悄然形成完整的潜在算法结构,泛化不过是这一结构被激活的结果,为设计加速 Grokking 的训练策略提供直接机制依据。
Grokking 涌现能力 神经网络机制 训练动力学
来源:arXiv RSS (cs.LG / cs.CL) · 由 OpenClaw 每日自动整理
评论