← Reading List
📰 技术速递

LLM 推理加速与 GPU 体系结构前沿

Tech多源前沿

📰 2026-09-23 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 投机解码与推理加速、量化与模型压缩、KV-Cache 显存优化、GPU 体系结构。


1. TreeSpark:面向半自回归投机解码的校准化负载自适应草稿树

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2609.22098 标签:投机解码 · 推理加速 · 草稿树 · 半自回归 · LLM推理

投机解码通过让廉价草稿模型提议 token、目标模型并行验证来加速大语言模型推理。树状投机解码用草稿树扩展候选集合,但固定树形在不同负载下会浪费算力。TreeSpark 提出校准化、负载自适应的草稿树,按实时负载动态调整树结构,使半自回归投机解码在多变负载下保持高接受率与稳定加速。

核心要点:

  • 投机解码由草稿模型提议、目标模型并行验证,是主流 LLM 推理加速手段
  • 树状投机解码以草稿树扩展候选,但固定树形在负载波动时浪费计算
  • TreeSpark 用校准信号驱动负载自适应树形,动态平衡草稿宽度与验证开销

2. 投机的边界:混合专家模型上投机解码的理论上界

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2609.22156 标签:投机解码 · MoE · 专家路由 · 推理加速 · 理论上界

在混合专家(MoE)模型上,动态专家路由会导致验证成本不稳定,使投机解码的收益难以预测。本文给出 MoE 上投机解码的理论边界,并分析在何种路由与负载条件下投机解码才能真正带来加速,为 MoE 推理系统设计提供判断依据。

核心要点:

  • MoE 的动态专家路由带来不稳定验证成本,影响投机解码收益
  • 论文推导出 MoE 投机解码的理论加速上界
  • 明确了路由模式与负载条件下投机解码适用的边界

3. PRQuant:面向低开销推理的置换残差量化

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2609.22106 标签:量化 · 低比特 · 异常值 · 残差量化 · 推理优化

线性层的低比特量化精度常被少数异常值主导,现有方法多针对异常值单独处理。PRQuant 提出置换残差量化,将异常值影响以残差方式分解到量化方案中,在保持精度的同时显著降低推理开销,适合资源受限部署场景。

核心要点:

  • 线性层低比特量化精度常由少量异常值主导
  • 提出置换残差量化,把异常值影响以残差形式分解
  • 在维持精度的同时有效降低推理计算与存储开销

4. 面向大语言模型的相关性感知结构化剪枝

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2609.22131 标签:结构化剪枝 · 模型压缩 · LLM · 推理成本 · 相关性感知

结构化剪枝是降低大语言模型推理成本的有效途径,但粗暴剪枝会严重损伤模型能力。本文提出相关性感知的结构化剪枝策略,在剪枝决策中考虑通道与权重间的相关性,从而在压缩比与精度之间取得更优平衡。

核心要点:

  • 结构化剪枝可显著降低 LLM 推理成本,但易损伤精度
  • 引入相关性感知,剪枝时考虑通道/权重间依赖
  • 在相同压缩比下获得更优的精度-效率权衡

5. PAGE:感知分区的门控 KV-Cache 淘汰

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2609.22157 标签:KV-Cache · 长上下文 · 显存优化 · 门控淘汰 · LLM服务

KV-Cache 淘汰方法通常只决定保留哪些 token,而不决定是否应当淘汰,导致基准平均指标可能误导实际部署。PAGE 提出分区感知的门控 KV-Cache 淘汰机制,自适应判断是否淘汰以及淘汰哪些分区的 token,更贴合真实长上下文 serving 场景。

核心要点:

  • 现有方法只选保留 token,不决定是否淘汰,基准均值易误导
  • 提出分区感知的门控机制,按需决定是否淘汰
  • 面向真实长上下文服务场景减少显存占用

6. SPLASH:稀疏注意力与高带宽闪存协同设计的高效长上下文推理

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.23816 标签:稀疏注意力 · KV-Cache · 存内计算 · 长上下文 · 硬件协同

KV-Cache 已成为大语言模型服务系统的主要显存消耗来源。SPLASH 将稀疏注意力与高带宽闪存(HBF)进行软硬件协同设计,在长上下文推理中显著降低显存与带宽压力,把稀疏化策略与底层存储特性紧密结合。

核心要点:

  • KV-Cache 是 LLM 服务的主要显存瓶颈
  • 稀疏注意力与高带宽闪存(HBF)协同设计
  • 长上下文推理下显著降低显存与带宽开销

7. 拆解芯片缩放如何破坏 GPU 细粒度调度

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.24270 标签:GPU · 芯片缩放 · 细粒度调度 · Chiplet · 体系结构

现代 GPU 在物理上已不再对称:芯片缩放带来制造驱动的降频(floorsweeping)与非对称 chiplet 布局,打破了细粒度调度所依赖的均匀性假设。本文系统拆解这些效应如何破坏 GPU 细粒度调度,对调度器与编译器设计具有直接启示。

核心要点:

  • 现代 GPU 物理上不再对称,存在制造降频与非对称布局
  • 芯片缩放破坏了细粒度调度的均匀性假设
  • 揭示底层机制,对调度器与编译器设计有启示

📊 今日速览

# 标题摘要 来源 方向
1 TreeSpark arXiv cs.CL 推理加速
2 投机的边界 arXiv cs.LG 推理加速
3 PRQuant arXiv cs.LG 量化压缩
4 面向大语言模型的相关性感知结构化剪枝 arXiv cs.CL 模型压缩
5 PAGE arXiv cs.LG 显存优化
6 SPLASH arXiv cs.AR 硬件协同
7 拆解芯片缩放如何破坏 GPU 细粒度调度 arXiv cs.AR GPU体系结构

自动生成 · 2026-09-23 · jeffinchen daily tech reading list

评论