← Reading List
📰 技术速递

LLM 量化·推理加速·MoE 训练·投机解码

Tech多源前沿

📰 2026-08-07 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM 多精度量化、PIM-GPU 异构推理系统、KV Cache 压缩、MoE 内存优化与投机解码。

1. 循环残差量化:面向 LLM 的渐进式多精度表示

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.04048 标签:LLM 量化 · 多精度 · PTQ · 推理部署

文章提出 Recurrent Residual Quantization (RRQ),一种训练后量化(PTQ)方法,用一个统一检查点即可支持多种目标比特宽度,避免了传统量化需要为每个位宽单独保存模型的困境。RRQ 通过循环残差结构渐进式表示权重,在不同部署约束下灵活权衡精度、显存与吞吐。

核心要点:

  • 单一检查点支持多比特宽度,显著降低部署存储成本
  • 循环残差结构实现渐进式精度表示,精度/显存/吞吐可灵活权衡
  • 面向 LLM 服务场景的 PTQ 方案,无需重训即可适配约束

2. 高效异构 DRAM-PIM-GPU 系统的设计原则

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.04169 标签:PIM · GPU · 推理系统 · 内存带宽

文章系统评估了多种架构与工作负载,指出当前基于 DRAM 的处理器内存(PIM)-GPU 异构系统在 LLM 解码阶段(尤其长输出生成)虽具效率潜力,但现有设计实践忽略了决定真实性能的关键因素,并提炼出对应的设计原则。

核心要点:

  • 揭示 PIM-GPU 异构系统在真实 LLM 解码场景下的关键性能决定因素
  • 针对长输出生成场景的系统化架构与负载评估
  • 为下一代 PIM 加速推理系统设计提供指导原则

3. Spend Bits Where Queries Look:基于注意力保持变换的 KV Cache 向量量化

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.04074 标签:KV Cache · 向量量化 · 注意力保持 · 长上下文

长上下文 LLM 解码每步都要读取 KV Cache,其加载耗时已超过注意力计算本身,使吞吐受内存带宽限制。文章提出按 query 关注位置分配比特的向量量化方法,配合注意力保持变换,在压缩 Cache 的同时保持注意力乘积与重建误差可控,从而提升解码速度与服务能力。

核心要点:

  • 定位 KV Cache 带宽为长上下文解码吞吐瓶颈
  • 按 query 注意力分布动态分配量化比特,保留关键信息
  • 注意力保持变换保障压缩后注意力乘积稳定

4. MESH:面向 Mixture-of-Experts 训练的内存高效 Sinkhorn 优化

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.04407 标签:MoE · 内存优化 · Sinkhorn · 预训练

内存高效的矩阵优化器(如 Sinkhorn 梯度下降)可去除大部分 AdamW 优化器状态,但直接用于 MoE 训练并不可靠。文章在 1.1 亿参数 DeepSeek 风格 MoE 预训练设定下研究该失效原因,提出 SAGE/Sinkhorn 混合方案,在降低优化器内存占用的同时保持训练稳定性。

核心要点:

  • 揭示 Sinkhorn 优化器直接用于 MoE 训练的不稳定性根因
  • SAGE/Sinkhorn 混合显著降低 MoE 优化器显存占用
  • 在可控纳米级 MoE 预训练设定下验证有效性

5. SpecRoll:面向投机强化学习 Rollout 的快慢验证器反馈自适应

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.04962 标签:投机解码 · 强化学习 · Rollout · 推理加速

RL 后训练能提升 LLM 推理能力,但自回归 rollout 生成是主要效率瓶颈。投机解码可加速生成,但目标策略持续演化使静态提议器失效。SpecRoll 引入快慢验证器反馈自适应机制,使投机解码能随策略演化动态调整,加速 RL rollout。

核心要点:

  • 解决 RL 中目标策略演化导致静态投机提议器失效的问题
  • 快慢验证器反馈机制实现动态自适应
  • 显著加速强化学习 rollout 生成阶段

6. SpecBox:面向高效 LLM Agent 服务的投机沙箱调度

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2607.23933 标签:LLM Agent · 沙箱调度 · MCP · 尾部延迟

随着 LLM Agent 越来越多通过 MCP 调用隔离外部沙箱,分散式沙箱部署在资源利用率与交互式尾部延迟间存在根本张力。SpecBox 提出投机沙箱调度策略,平衡常驻沙箱的内存开销与按需实例化的延迟代价,实现高效 Agent 服务。

核心要点:

  • 揭示 MCP 沙箱部署中资源利用率与尾部延迟的权衡张力
  • 投机式沙箱调度减少常驻内存开销
  • 面向 LLM Agent 服务场景的延迟-成本联合优化

7. 面向强化学习的指令条件探索与向无条件策略的自蒸馏

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.02087 标签:强化学习 · 探索 · 自蒸馏 · LLM 后训练

RL 后训练已成为提升 LLM 能力的重要工具,但 LLM 动作空间结构带来区别于经典 RL 的探索挑战。文章提出指令条件探索方法,并结合向无条件策略的自蒸馏,利用模型已有的广度知识与灵活性来诱导更有效的探索。

核心要点:

  • 针对 LLM 动作空间结构提出指令条件探索机制
  • 自蒸馏到无条件策略以稳定并引导探索
  • 适配 LLM 后训练场景的 RL 探索新方法

📊 今日速览

# 标题摘要 来源 方向
1 循环残差量化:面向 LLM 的渐进式多精度表示 arXiv cs.LG 量化
2 高效异构 DRAM-PIM-GPU 系统的设计原则 arXiv cs.AR PIM系统
3 Spend Bits Where Queries Look:基于注意力保持变换的 KV Cache 向量量化 arXiv cs.LG KV压缩
4 MESH:面向 Mixture-of-Experts 训练的内存高效 Sinkhorn 优化 arXiv cs.LG MoE训练
5 SpecRoll:面向投机强化学习 Rollout 的快慢验证器反馈自适应 arXiv cs.LG 投机解码
6 SpecBox:面向高效 LLM Agent 服务的投机沙箱调度 arXiv cs.LG Agent调度
7 面向强化学习的指令条件探索与向无条件策略的自蒸馏 arXiv cs.LG RL探索

自动生成 · 2026-08-07 · jeffinchen daily tech reading list

评论