← Reading List
📰 技术速递

KV缓存稀疏化、长上下文推理路由与扩散采样加速

Tech多源前沿

📰 2026-09-18 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 KV 缓存稀疏化与卸载、长上下文推理路由、扩散模型加速采样、分布式 RL、量化硬化与推理算子。


1. Fathom:面向卸载 KV 缓存稀疏解码的逐查询读取深度

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2609.17652
标签:KV缓存 · 稀疏解码 · 比特预算 · 长上下文 · 注意力

当智能体会话扩展到百万 token 且多会话常驻时,KV 缓存及排序索引驻留于主机内存,每次 top-k 的全量 n 个 key 扫描成为解码的流量瓶颈。Fathom 提出一种 key 扫描机制,让每个 query 自行决定读取每个 key 通道的位数:4-bit K 缓存以通道为主序存为比特平面,前 t 个平面即为该通道的 t-bit 量化器,query 按通道方差加权的重要性做反向注水分配比特预算。在 Qwen3-8B 的百万 token 场景,Fathom 单步 GPU 耗时较 Double Sparsity、Loki 和 SparQ(r=32) 的 136-bit 扫描快 1.67×;在 SparQ 68-bit 读取(r=16) 的同等 GPU 时间内少读 18% 字节且注意力误差更低。

核心要点:

  • 通道主序 + 比特平面存储,使前缀平面天然成为可渐进读取的量化器
  • query 按方差加权重要性反向注水分配比特预算,实现逐查询自适应精度
  • 百万 token 下单步解码相对强基线加速 1.67×,字节读取与误差同步改善

2. 超越静态 RAG:面向商品级 GPU 长上下文推理的自适应三度量路由

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2609.17564
标签:RAG · 长上下文 · 推理路由 · 显存优化 · 商品级GPU

在 NVIDIA T4(16GB) 等商品级 GPU 上部署 RAG 会暴露一种”压缩悖论”:神经提示压缩带来的 KV 缓存争用与预处理延迟,可能抵消生成阶段的收益,而跳过压缩又会在长上下文下触发 OOM。作者识别了 vLLM 服务 LLM 与 PyTorch 压缩器协同部署时的两类失效机制,并提出 Tri-Metric Router——一个免训练、确定性的策略,在 Raw / 神经(LLMLingua-2) / 词法(BM25) 三条管线间择一。路由器基于三个 CPU 侧信号:空间复杂度 L、句法密度 ρ_key 与类符形符比(TTR),以硬件物理信号驱动调度而非纯语义自适应。

核心要点:

  • 揭示 RAG 压缩悖论:压缩与跳过压缩在紧显存下分别引发延迟/内存两类失效
  • 三度量路由器用 L、ρ_key、TTR 三个 CPU 侧硬件信号做确定性、免训练决策
  • 在商品级 GPU 上兼顾长上下文可用性与生成吞吐

3. 通过推测性 draft trees 加速扩散采样

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2609.17691
标签:扩散模型 · 推测采样 · 相对熵编码 · 采样加速 · draft树

推测采样通过起草廉价候选状态并在保持目标分布的耦合下校正,从而降低昂贵的 target 评估次数来加速扩散生成。现有方法(如基于反射极大耦合)受限为链状结构(单链草稿),每轮接受率受限。本文把扩散模型的推测采样与相对熵编码(REC)联系起来,指出前瞻不必是线性的,并提出 draft trees:用树而非链来富集每轮候选、降低目标函数评估次数;并采用 REC 中的贪心拒绝采样作为 draft-target 耦合,在保持接受率的同时改进效率。

核心要点:

  • 将扩散推测采样重新诠释为相对熵编码(REC)视角,打破链状前瞻限制
  • draft trees 以树结构富集候选,降低每轮目标评估次数
  • 贪心拒绝采样作为耦合,兼顾接受率与采样效率

4. REVERSAL-BENCH:用于度量无重置 RL 悬崖的可逆性轴与重置预言机

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2609.17745
标签:强化学习 · 无重置RL · 评测基准 · 可逆性 · 自主训练

自主强化学习的核心目标之一是无需外部重置的连续策略训练,但现实中许多环境存在不可逆的”悬崖”——一旦进入失败状态便无法恢复。本文提出 REVERSAL-BENCH,定义一个可逆性轴并配套重置预言机(reset oracle),用以系统度量无重置 RL 在各类任务上距离”不可恢复悬崖”的远近,为算法设计与环境构建提供量化抓手。

核心要点:

  • 定义可逆性轴量化环境从当前状态恢复的难度
  • 引入重置预言机作为可控的度量基准组件
  • 为无重置自主 RL 提供首个系统化的”悬崖”评测手段

5. REQAP:面向边缘 DNN 加速的弹性权重打包与量化

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2609.17555
标签:边缘AI · 模型量化 · 权重打包 · DNN加速 · 容错

在边缘加速器上高效部署深度神经网络需要激进的模型压缩,但量化与权重打包往往因硬件故障或精度损失而受限。REQAP 提出弹性权重打包与量化方案,在压缩的同时考虑边缘设备的可靠性约束,使量化与打包策略对错误更具韧性,从而在受限硬件上兼顾吞吐、能效与正确性。

核心要点:

  • 面向边缘加速器的弹性权重打包与量化联合设计
  • 在压缩收益与硬件可靠性之间取得平衡
  • 提升量化模型在故障场景下的容错能力

6. 量化感知修复:一个压缩至 4-bit 却优于原全精度模型的实践

来源:Hugging Face Blog
链接:https://huggingface.co/blog/MultiverseComputingCAI/quantization-aware-healing
标签:量化 · 4-bit · 模型压缩 · 精度恢复 · 后训练

传统认知中量化会不可避免地损失精度,但本文展示一种”量化感知修复”思路:通过对压缩过程与后续修复的协同设计,一个压缩到 4-bit 的模型在下游任务上反而超过了其全精度原始版本。文章以可复现的流程说明如何在量化后通过针对性修复找回乃至提升精度,对边缘与低成本部署有直接价值。

核心要点:

  • 提出量化感知修复,使 4-bit 压缩模型精度反超全精度原模型
  • 将压缩与修复作为协同流程而非独立步骤
  • 为边缘/低成本部署提供可复现的高性价比路径

7. 低精度 FlashAttention 4:面向 Blackwell 的端到端块缩放注意力

来源:PyTorch Blog
链接:https://pytorch.org/blog/low-precision-flash-attention-4-end-to-end-block-scaled-attention-for-blackwell/
标签:FlashAttention · 低精度 · Blackwell · MXFP8 · 注意力算子

PyTorch 团队在 FlashAttention-4 基础上扩展 MXFP8 的前向与反向,面向 Blackwell 架构实现端到端块缩放(block-scaled)注意力。在前向达到 2.85 PF/s、反向 2 PF/s(LLM 典型 shape),且在内部 shape 上相比基线获得显著加速,展示了低精度注意力在最新 GPU 上的端到端落地与可移植性。

核心要点:

  • FA4 扩展 MXFP8 前向/反向,面向 Blackwell 的块缩放注意力
  • LLM 典型 shape 下前向 2.85 PF/s、反向 2 PF/s 的实测吞吐
  • 端到端低精度注意力在最新硬件上的工程化落地

📊 今日速览

# 标题摘要 来源 方向
1 Fathom:逐查询比特预算的稀疏 KV 解码 arXiv KV缓存稀疏化
2 超越静态 RAG 的三度量长上下文路由 arXiv 长上下文推理
3 推测性 draft trees 加速扩散采样 arXiv 扩散采样加速
4 REVERSAL-BENCH 度量无重置 RL 悬崖 arXiv 分布式/自主RL
5 REQAP 边缘 DNN 弹性量化打包 arXiv 边缘量化硬化
6 量化感知修复:4-bit 反超全精度 HF Blog 模型量化
7 低精度 FlashAttention 4 for Blackwell PyTorch 推理算子加速

自动生成 · 2026-09-18 · jeffinchen daily tech reading list

评论