📰 2026-09-23 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 投机解码与推理加速、量化与模型压缩、KV-Cache 显存优化、GPU 体系结构。
1. TreeSpark:面向半自回归投机解码的校准化负载自适应草稿树
来源:arXiv cs.CL 链接:https://arxiv.org/abs/2609.22098 标签:投机解码 · 推理加速 · 草稿树 · 半自回归 · LLM推理
投机解码通过让廉价草稿模型提议 token、目标模型并行验证来加速大语言模型推理。树状投机解码用草稿树扩展候选集合,但固定树形在不同负载下会浪费算力。TreeSpark 提出校准化、负载自适应的草稿树,按实时负载动态调整树结构,使半自回归投机解码在多变负载下保持高接受率与稳定加速。
核心要点:
- 投机解码由草稿模型提议、目标模型并行验证,是主流 LLM 推理加速手段
- 树状投机解码以草稿树扩展候选,但固定树形在负载波动时浪费计算
- TreeSpark 用校准信号驱动负载自适应树形,动态平衡草稿宽度与验证开销
2. 投机的边界:混合专家模型上投机解码的理论上界
来源:arXiv cs.LG 链接:https://arxiv.org/abs/2609.22156 标签:投机解码 · MoE · 专家路由 · 推理加速 · 理论上界
在混合专家(MoE)模型上,动态专家路由会导致验证成本不稳定,使投机解码的收益难以预测。本文给出 MoE 上投机解码的理论边界,并分析在何种路由与负载条件下投机解码才能真正带来加速,为 MoE 推理系统设计提供判断依据。
核心要点:
- MoE 的动态专家路由带来不稳定验证成本,影响投机解码收益
- 论文推导出 MoE 投机解码的理论加速上界
- 明确了路由模式与负载条件下投机解码适用的边界
3. PRQuant:面向低开销推理的置换残差量化
来源:arXiv cs.LG 链接:https://arxiv.org/abs/2609.22106 标签:量化 · 低比特 · 异常值 · 残差量化 · 推理优化
线性层的低比特量化精度常被少数异常值主导,现有方法多针对异常值单独处理。PRQuant 提出置换残差量化,将异常值影响以残差方式分解到量化方案中,在保持精度的同时显著降低推理开销,适合资源受限部署场景。
核心要点:
- 线性层低比特量化精度常由少量异常值主导
- 提出置换残差量化,把异常值影响以残差形式分解
- 在维持精度的同时有效降低推理计算与存储开销
4. 面向大语言模型的相关性感知结构化剪枝
来源:arXiv cs.CL 链接:https://arxiv.org/abs/2609.22131 标签:结构化剪枝 · 模型压缩 · LLM · 推理成本 · 相关性感知
结构化剪枝是降低大语言模型推理成本的有效途径,但粗暴剪枝会严重损伤模型能力。本文提出相关性感知的结构化剪枝策略,在剪枝决策中考虑通道与权重间的相关性,从而在压缩比与精度之间取得更优平衡。
核心要点:
- 结构化剪枝可显著降低 LLM 推理成本,但易损伤精度
- 引入相关性感知,剪枝时考虑通道/权重间依赖
- 在相同压缩比下获得更优的精度-效率权衡
5. PAGE:感知分区的门控 KV-Cache 淘汰
来源:arXiv cs.LG 链接:https://arxiv.org/abs/2609.22157 标签:KV-Cache · 长上下文 · 显存优化 · 门控淘汰 · LLM服务
KV-Cache 淘汰方法通常只决定保留哪些 token,而不决定是否应当淘汰,导致基准平均指标可能误导实际部署。PAGE 提出分区感知的门控 KV-Cache 淘汰机制,自适应判断是否淘汰以及淘汰哪些分区的 token,更贴合真实长上下文 serving 场景。
核心要点:
- 现有方法只选保留 token,不决定是否淘汰,基准均值易误导
- 提出分区感知的门控机制,按需决定是否淘汰
- 面向真实长上下文服务场景减少显存占用
6. SPLASH:稀疏注意力与高带宽闪存协同设计的高效长上下文推理
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.23816 标签:稀疏注意力 · KV-Cache · 存内计算 · 长上下文 · 硬件协同
KV-Cache 已成为大语言模型服务系统的主要显存消耗来源。SPLASH 将稀疏注意力与高带宽闪存(HBF)进行软硬件协同设计,在长上下文推理中显著降低显存与带宽压力,把稀疏化策略与底层存储特性紧密结合。
核心要点:
- KV-Cache 是 LLM 服务的主要显存瓶颈
- 稀疏注意力与高带宽闪存(HBF)协同设计
- 长上下文推理下显著降低显存与带宽开销
7. 拆解芯片缩放如何破坏 GPU 细粒度调度
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.24270 标签:GPU · 芯片缩放 · 细粒度调度 · Chiplet · 体系结构
现代 GPU 在物理上已不再对称:芯片缩放带来制造驱动的降频(floorsweeping)与非对称 chiplet 布局,打破了细粒度调度所依赖的均匀性假设。本文系统拆解这些效应如何破坏 GPU 细粒度调度,对调度器与编译器设计具有直接启示。
核心要点:
- 现代 GPU 物理上不再对称,存在制造降频与非对称布局
- 芯片缩放破坏了细粒度调度的均匀性假设
- 揭示底层机制,对调度器与编译器设计有启示
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | TreeSpark | arXiv cs.CL | 推理加速 |
| 2 | 投机的边界 | arXiv cs.LG | 推理加速 |
| 3 | PRQuant | arXiv cs.LG | 量化压缩 |
| 4 | 面向大语言模型的相关性感知结构化剪枝 | arXiv cs.CL | 模型压缩 |
| 5 | PAGE | arXiv cs.LG | 显存优化 |
| 6 | SPLASH | arXiv cs.AR | 硬件协同 |
| 7 | 拆解芯片缩放如何破坏 GPU 细粒度调度 | arXiv cs.AR | GPU体系结构 |
自动生成 · 2026-09-23 · jeffinchen daily tech reading list
评论