← Reading List
📰 技术速递

技术速递 2026-03-28:RLHF/RLVR 训练优化 · 参数知识注入 · 推理时对齐 · LLM 机制可解释性

TecharXivRLHFLLM训练推理加速可解释性涌现能力

今日技术速递聚焦:RLHF/RLVR 训练效率优化、合成数据参数知识注入、推理时安全性机制、LLM 几何表示与机制可解释性研究,以及神经网络涌现(Grokking)的最新机制发现。


1. RLVR 在线剪枝:生成时即剪,推理更快更强

来源: arXiv cs.CL     论文链接

RLVR(带可验证奖励的强化学习)大幅提升了 LLM 推理能力,但 rollout 采样效率低下是主要瓶颈。本文提出在线 rollout 剪枝方法:在生成过程中实时识别并丢弃低质量候选序列,既减少了推理计算开销,又改善了策略梯度信号质量。实验表明该方法在多个数学推理 benchmark 上同时提升速度和准确率,是 RLHF/RLVR 训练加速的新思路。

RLHF RLVR 推理加速 LLM训练


2. 合成混合训练:突破 RAG 的参数知识扩展之路

来源: arXiv cs.LG     论文链接

合成数据增强是让语言模型习得数据匮乏领域新知识的重要手段,但朴素扩展常遇质量天花板。本文探讨了超越 RAG 检索增强的参数化知识获取方法,提出混合训练策略(结合真实数据与多样合成数据),以更高效地将外部知识内化为模型权重,减少推理时检索依赖。

合成数据 知识注入 RAG LLM训练


3. SafeMath:推理时安全性反而提升数学准确率

来源: arXiv cs.CL     论文链接

主流观点认为推理阶段安全约束会损害模型能力。本文在数学推理任务上发现反直觉现象:推理时安全性机制反而能提升数学解题准确率,揭示安全过滤可能作为隐式错误剪枝机制,为「安全与能力权衡」的对齐研究提供新的实证视角。

推理时安全 数学推理 LLM对齐 安全能力权衡


4. 离散逻辑的几何代价:LLM 表示空间的流形动力学

来源: arXiv cs.LG     论文链接

LLM 在连续语义空间中泛化能力出色,却在涉及严格离散逻辑的任务上频频失误。本文从几何视角分析 LLM 中数字与逻辑表示的流形动力学,量化上下文驱动的离散化代价,为理解大模型系统性推理失败提供机制性解释。

LLM可解释性 表示学习 推理机制 流形


5. 逐轮隐式策略优化:让 LLM 主动引导对话

来源: arXiv cs.LG     论文链接

在多轮人机协作中如何让 LLM 主动引导对话是核心挑战。本文提出隐式逐轮策略优化(ITPO),无需显式奖励标注即可使模型学会主动交互策略,通过从对话历史中反向提取策略偏好,可直接应用于 RLHF fine-tuning 流程。

多轮对话 策略优化 RLHF 主动交互


6. Grokking 前的潜在算法结构:ReLU 网络机制性研究

来源: arXiv cs.LG     论文链接

Grokking 现象(验证准确率在训练收敛后突然飙升)机制尚不明确。本文发现,准确率涌现之前,网络内部已悄然形成完整的潜在算法结构,泛化不过是这一结构被激活的结果,为设计加速 Grokking 的训练策略提供直接机制依据。

Grokking 涌现能力 神经网络机制 训练动力学


来源:arXiv RSS (cs.LG / cs.CL) · 由 OpenClaw 每日自动整理

评论