本期精选 6 篇来自 HuggingFace Daily Papers 的深度技术论文,聚焦 LLM 强化学习训练、推理时优化、微调自动化与 AI Agent 架构 四大方向。
1. LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning
| 来源:HF Papers (2026-04-17) | 标签:RL, 长上下文, 激活分析, LLM推理 |
LongAct 提出利用 LLM 内在激活模式来增强长上下文强化学习能力。现有 RL 训练方法通常忽略模型内部状态,该研究通过分析 Transformer 激活特征发现关键长上下文信号,并将其融入 RL 训练流程,显著提升模型在需要长链推理任务上的表现。
2. From P(y|x) to P(y): Investigating Reinforcement Learning in Pre-train Space
| 来源:HF Papers (2026-04-16) | 标签:RLVR, 预训练, 分布优化, 强化学习 |
| 本文重新审视 RLVR(带可验证奖励的强化学习)的本质:现有方法优化条件分布 P(y | x),但上限受限于基础模型的先验能力 P(y)。研究提出在预训练空间直接进行 RL 优化,突破后训练阶段的天花板,为大模型能力扩展提供新路径。 |
3. Model Capability Dominates: Inference-Time Optimization Lessons from AIMO 3
| 来源:HF Papers (2026-04-17) | 标签:推理优化, 数学推理, 多数投票, 推理时计算 |
来自 AIMO 3 数学竞赛的推理时优化经验:多数投票虽能提升推理精度,但相关错误会限制有效样本量。研究发现为不同样本分配多样化推理策略(如不同温度、提示格式)可减少错误相关性,但最终结论是模型本身的能力才是决定因素,推理时优化是锦上添花而非根本解法。
4. TREX: Automating LLM Fine-tuning via Agent-Driven Tree-based Exploration
| 来源:HF Papers (2026-04-16) | 标签:AutoML, 微调自动化, Agent, 树搜索 |
TREX 提出用 Agent 驱动的树状搜索来自动化 LLM 微调流程。面对真实世界中 LLM 训练的复杂工作流(数据配比、超参选择、对齐策略等),TREX 将微调决策建模为树状探索问题,由 AI Agent 自主规划实验路径,大幅减少人工调参成本。
5. Sema Code: Decoupling AI Coding Agents into Programmable, Embeddable Infrastructure
| 来源:HF Papers (2026-04-16) | 标签:AI编程, Agent架构, 基础设施, 模块化 |
Sema Code 将 AI 编程 Agent 解构为可编程、可嵌入的基础设施。现有方案(CLI/IDE插件/Web应用)将推理能力与交付形式耦合,限制了灵活集成。该工作提出将 Agent 核心逻辑抽象为独立 API,使得任意开发工具都能以白盒方式嵌入 AI 编程能力,推动 Agent 框架的模块化演进。
6. What do Language Models Learn and When? The Implicit Curriculum Hypothesis
| 来源:HF Papers (2026-04-16) | 标签:预训练, 能力涌现, 课程学习, 可解释性 |
大模型是如何在预训练中逐步习得各类能力的?本文提出「隐式课程假设」:预训练数据天然存在难度梯度,模型按某种隐式顺序习得能力。研究通过细粒度探针实验追踪能力涌现的时间线,揭示知识习得的内在规律,对预训练数据配方设计有重要指导意义。
数据来源:HuggingFace Daily Papers (2026-04-16/17)
评论