← Reading List
📰 技术速递

大模型推理优化与系统加速:从 FlashAttention 内核到 KV-Cache 压缩与 MoE 稀疏量化

Tech多源前沿

📰 2026-10-06 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 GPU 注意力内核、KV-Cache 压缩、MoE 稀疏量化、扩散投机采样、LoRA 持续学习与 NVMe FDP 存储。


1. Blackwell 上基于固定位移 Softmax 与持续调度的高效 FlashAttention

来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2610.02229 标签:FlashAttention · Blackwell · Triton TLX · GPU 内核 · 注意力优化

在 NVIDIA Blackwell 架构上,归一化与操作数搬运往往成为注意力内核的瓶颈。本文在 Triton TLX 中实现 FA4 风格的流水线,采用固定位移稠密 softmax 并保存逆分母用于反向传播,避免了递归累加器修正,并将行归一化从二次反向循环移到线性预处理。在 B200 上,TLX 在 FA4 的 BF16 变长批次网格中实现了 7.3% 的几何平均吞吐提升。

核心要点:

  • 固定位移 softmax 消除递归累加器修正,保存倒数将行归一化从二次循环降为线性预处理
  • 受保护的因果路径用首块锚点 + 选择性恢复,全掩码对角收缩被跳过
  • 打包 BF16 指数近似与流水化 dQ 发布减少单元素工作量与片上搬运
  • B200 上 24 个用例几何平均吞吐提升 7.3%

2. 跨上下文 KV-Cache 复用的预算化缓存修复

来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2610.02233 标签:KV-Cache · 缓存复用 · 推理优化 · 注意力 · 长上下文

跨上下文 KV-Cache 复用通过在新前缀下预测共享段的键值来避免重算,但本文发现其存在隐藏精度成本,在 MMLU、GSM8K 上带来明显掉点。核心洞察是:按“行”粒度(单个 token 的键值)选择重算哪些部分收益最高——合理选择可在随机基线之上消除 49.5% 的缓存误差。Budgeted Cache Repair(BCR)在该粒度上运行,通过两 token 草拟、按注意力排序缓存行并重算固定预算。

核心要点:

  • 跨上下文缓存复用存在隐藏精度成本,直接复用会在 MMLU/GSM8K 掉点
  • 选择粒度过粗收益消失:单行级修复可消除 49.5% 误差,64-token 块仅 10.6%
  • BCR 用两 token 草拟预测、按注意力对缓存行排序、重算固定预算的行
  • 在“选择仍有回报”的粒度上动作,平衡质量与重算开销

3. CORE:面向 KV Cache 的覆盖校准与驱逐质量再分配

来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2610.02235 标签:KV-Cache · 长上下文 · 缓存压缩 · 覆盖校准 · 推理加速

长上下文解码受限于 KV-Cache 的内存与带宽。现有定预算压缩方法将“保留”与“补偿”分离,且保留排序无法指明被丢弃的注意力质量与方向性输出误差。本文从精确分解出发(驱逐误差 = 被驱逐注意力质量 × 被驱逐质心与保留输出间的方向性差距),提出 CORE,将离线分配(查询效用 + 对数行列式覆盖)提炼为轻量缓存感知索引器,用一个校准分布同时驱动 Top-B 保留与质量再分配。

核心要点:

  • 精确分解表明驱逐误差 = 驱逐注意力质量 × 方向性差距,凸显集合级覆盖的重要性
  • 离线蒸馏结合查询效用与对数行列式覆盖的分配策略为轻量缓存感知索引器
  • 一个校准分布在推理时同时驱动 Top-B 互补保留与质量保持的内存写入
  • 将保留与补偿统一,避免只排序不补偿导致的方向性输出误差

4. 面向万亿参数 MoE 的硬件原生联合稀疏-量化

来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2610.02241 标签:MoE · 稀疏张量核 · 量化 · 硬件协同设计 · 推理加速

MoE 架构可扩展至万亿参数,但部署受限于巨大的显存占用与带宽。现代加速器提供稀疏张量核(SpTC)可借半结构化稀疏降低权重存储并提升吞吐,但 MoE 应用面临模型质量严重退化和缺乏分组稀疏 GEMM 原语的问题。本文提出端到端软硬件协同设计框架,将专家权重压缩为硬件原生低精度稀疏表示并在 SpTC 上加速;算法上用连续重参数化松弛离散半结构化支撑选择,实现与量化权重的联合可微优化。

核心要点:

  • 利用 SpTC 的半结构化稀疏降低 MoE 权重存储并提升吞吐,但质量退化与缺少分组稀疏 GEMM 原语是障碍
  • 软硬件协同:权重压缩为硬件原生低精度稀疏表示,在稀疏张量核上执行
  • 连续重参数化松弛离散支撑选择,实现稀疏与量化的联合可微优化
  • 面向万亿参数 MoE 的显存与带宽受限部署提供端到端方案

5. 面向扩散草稿树的秩感知投机采样

来源:arXiv (cs.LG) 链接:https://arxiv.org/abs/2610.02251 标签:扩散模型 · 投机采样 · 草稿树 · 推理加速 · 并行验证

投机采样通过并行验证廉价草稿状态来加速扩散生成并保持目标分布。现有基于树的方法(如 D-GRS)每节点生成 K 个条件独立候选并按生成顺序依次测试,但采样候选本身携带无需额外目标模型评估的排序信息。本文提出 Rank-Aware Speculative Sampling(RASS),基于秩感知列表耦合的验证规则,沿 proposal-target 均值位移对候选排序,并以最小化选定 proposal 与目标分布总变差为目标采样秩。

核心要点:

  • 投机采样并行验证草稿状态以加速扩散生成并保持目标定律不变
  • 树方法(D-GRS)每节点 K 个候选,但候选本身含排序信息可被利用
  • RASS 用秩感知列表耦合,沿 proposal-target 均值位移对候选排序
  • 以最小化总变差为目标采样秩,无需额外目标模型评估即可提升接受效率

6. MuLoRA:面向持续学习的谱均衡低秩适配

来源:arXiv (cs.LG) 链接:https://arxiv.org/abs/2610.02283 标签:LoRA · 持续学习 · 低秩适配 · 谱塑性 · 灾难性遗忘

LoRA 为持续学习提供参数高效方案,但其名义秩可能掩盖有效适配能力的损失。本文发现“谱塑性坍塌”:顺序适配中更新能量集中于少数奇异模式,大量低秩空间未被利用。MuLoRA 同时控制容量分配与利用——历史白化识别当前任务相对历史响应强的输入方向形成固定任务自适应基;并辅以机制确保剩余适配容量对新任务有响应。

核心要点:

  • 揭示“谱塑性坍塌”:更新能量集中于少数奇异模式,低秩空间利用率低
  • 仅做干扰避免不够:保护历史表征不保证剩余容量对新任务有响应
  • 历史白化得到任务自适应基,在训练中保持固定
  • 联合控制容量分配与利用,缓解持续学习中的遗忘与欠适配

7. FDP:现代 NVMe SSD 的数据放置承诺

来源:arXiv (cs.OS) 链接:https://arxiv.org/abs/2610.02676 标签:NVMe · FDP · 数据存储 · 写放大 · 数据中心

NVMe SSD 已成为数据中心存储层主流,但其暴露的接口与操作系统/存储系统如何利用长期存在争议。NVMe Flexible Data Placement(FDP)基于 Reclaim Unit 提供显式数据放置,在不引入顺序写约束和主机垃圾回收软件成本的前提下降低写放大。FDP SSD 已出现在商用产品和早期数据中心部署中,且与传统块 I/O 兼容,现有应用无需修改即可采用。本文给出 FDP SSD 的实验评估以刻画其数据放置保障。

核心要点:

  • FDP 基于 Reclaim Unit 提供显式数据放置,降低写放大
  • 相比方案避免了顺序写约束与主机 GC 的软件工程成本
  • 兼容传统块 I/O,现有应用无需修改即可无损采用
  • 已商用化并进入早期数据中心部署,论文给出系统性实验评估

📊 今日速览

# 标题摘要 来源 方向
1 Blackwell 上基于固定位移 Softmax 与持续调度的高效 FlashAttention arXiv (cs.AR) GPU 内核 / 注意力
2 跨上下文 KV-Cache 复用的预算化缓存修复 arXiv (cs.AR) KV-Cache / 推理
3 CORE:面向 KV Cache 的覆盖校准与驱逐质量再分配 arXiv (cs.AR) KV-Cache / 压缩
4 面向万亿参数 MoE 的硬件原生联合稀疏-量化 arXiv (cs.AR) MoE / 量化
5 面向扩散草稿树的秩感知投机采样 arXiv (cs.LG) 扩散 / 推理加速
6 MuLoRA:面向持续学习的谱均衡低秩适配 arXiv (cs.LG) LoRA / 训练
7 FDP:现代 NVMe SSD 的数据放置承诺 arXiv (cs.OS) 存储 / OS

自动生成 · 2026-10-06 · jeffinchen daily tech reading list

评论