📰 技术速递 · 2026-03-12:LLM推理加速与训练算法前沿
本期聚焦:LLM 极致压缩(Leech 格 VQ)、KV Cache 快速剔除(LookaheadKV)、Transformer MLP 二值路由机制、RLTT 训练算法改进、异步 RLHF 系统工程。
1. LLM 极致压缩:Leech 格向量量化
| 来源: arXiv:2603.11021 | 标签: 量化 · LLM压缩 · 向量量化 |
本文提出利用 Leech 格(24 维球填充最优格)构建向量量化码本,对大模型权重进行极端比特率压缩。相比传统 VQ 方法,Leech 格的高对称性使量化误差最小化,在每权重仅 2~3 比特的极端条件下仍能维持模型精度。实验覆盖 LLaMA-2/3 等主流模型族,量化后困惑度损失显著低于 GPTQ、AWQ 等主流方法。
向量量化正逐渐取代逐层标量量化成为主流方向,Leech 格在信息论上是最优的,此工作将理论最优性引入 LLM 压缩实践,对边缘部署意义深远。
2. LookaheadKV:基于前瞻注意力的高效 KV Cache 剔除
| 来源: arXiv:2603.10899(ICLR 2026) | 标签: KV-Cache · 长上下文 · 推理加速 |
LookaheadKV 提出一种无训练的 KV Cache 剔除方法:在解码时使用少量”前瞻 token”提前评估未来注意力权重,从而更准确地预测哪些历史 KV 对未来计算重要。相比 StreamingLLM、H2O 等方法,在相同 Cache 预算下将长文档问答准确率提升 5–12%,同时保持解码速度不变。
KV Cache 管理是长上下文推理的核心瓶颈。LookaheadKV 无需任何微调即可使用,且前瞻 overhead 可忽略,工程落地路径清晰。
3. Transformer MLP 层的二值路由机制解析
| 来源: arXiv:2603.10985 | 标签: 模型可解释性 · Transformer架构 · MoE理论 |
作者发现 GPT-2 的 MLP 层本质上执行”二值路由”:神经元激活状态近似为二值(开/关),连续信号被路由至不同计算路径。在 GPT-2 Small 中发现了由 7 个”默认 ON”神经元与 1 个异常处理神经元组成的共识架构。跨层分析揭示三阶段发育弧:早期层(单网关)→ 中间层(漫射处理)→ 晚期层(全共识/异常架构)。
这一发现直接解释了为什么 MoE 架构有效,也说明了平滑多项式近似为何失败。对 MoE 设计与模型压缩均有指导价值。
4. RLTT:奖励潜在思维轨迹以改进循环语言模型推理
| 来源: arXiv:2602.10520 | 标签: RLHF · 训练算法 · 推理增强 |
循环语言模型(LoopLM)在 token 生成前执行多步隐空间推理,但标准 GRPO 仅对最终隐状态分配奖励,与模型内部计算不匹配。RLTT 将奖励分布到完整隐推理轨迹,无需外部验证器。在 Ouro-2.6B-Thinking 上,RLTT 相比 GRPO 在 MATH-500 提升 +14.4%,AIME24 提升 +16.6%,BeyondAIME 提升 +10.0%。
LoopLM 是比 CoT 更激进的推理架构路线。RLTT 表明轨迹级奖励比终态奖励更有效,这一结论也可能推广至标准 CoT 训练。
5. 异步强化学习训练全景:RLHF 系统工程综述
| 来源: Hugging Face Blog | 标签: RLHF · 分布式训练 · 工程实践 |
文章系统梳理了当前主流异步 RL 训练框架(包括 veRL、OpenRLHF、TRL、PRIME 等),分析了同步 vs 异步 rollout、actor-critic 分离部署、参数服务器与梯度累积等关键工程权衡。重点比较了不同框架在吞吐量、显存占用、实现复杂度上的取舍,并给出选型建议。
RLHF/GRPO 训练已成为后训练的核心环节,工程复杂度极高。这篇文章是理解当前工业界实践的最佳切入点。
🔗 huggingface.co/blog/async-rl-training-landscape
iWiki 完整版:https://iwiki.woa.com/p/4018629520
评论