← Reading List
📰 技术速递

大模型推理加速与高效训练:KV压缩、投机解码、零阶微调与GPU内存管理

Tech多源前沿

📰 2026-10-13 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 大模型推理加速(KV缓存压缩、投机解码、扩散加速)、高效训练/微调(零阶优化)、低比特量化、GPU 显存管理与 PyTorch 设备集成。


1. Kronecker 积注意力:结构化分解实现高效 KV 缓存压缩

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2610.12657 标签:KV缓存 · 注意力机制 · 推理加速 · 结构化分解

自回归生成越来越受限于 KV 缓存的内存占用,其随序列长度、批大小和模型深度线性增长。本文提出 Kronecker 积注意力(KPA),将 key/value 激活表示为紧致的、依赖 token 的矩阵因子的 Kronecker 积之和,严格泛化了张量积注意力(TPA),同时保留 RoPE 的相对位置特性且无需解耦分支。在四个模型规模和九个下游基准上,KPA 匹配或超越 TPA、MHA、MQA、GQA、MLA,并实现最高 10x 的 KV 缓存压缩。

核心要点:

  • KPA 用 Kronecker 积分解表示 KV,严格泛化 TPA,可表达更丰富的块结构模式
  • 设计匹配的旋转嵌入算子,仅旋转紧致因子即可保持 RoPE 相对位置性质,省去 MLA 的解耦分支
  • 在同等训练条件下跨 4 规模 9 基准匹配/超越主流注意力,KV 缓存压缩最高达 10 倍
  • Kronecker 头拆分是可调超参,无需改架构即可在设计期权衡压缩-精度

2. 并行草稿的上下文校正:投机解码吞吐再提升

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2610.12570 标签:投机解码 · 推理加速 · 并行草稿 · 上下文校正

投机解码用轻量草稿模型并行提议多个 token,再由目标模型并行验证以加速 LLM 推理。基于扩散的草稿器虽强,但草稿块内 token 预测无法访问前置草稿 token 的真实身份,丢失了自回归本应存在的块内依赖。本文提出 DCOCO(DFlash Contextual Corrector),保留多候选 token 并并行评估相邻草稿位置的上下文兼容性,以极低代价恢复块内依赖。在四个验证器骨干和十个基准上,DCOCO 各配置均取得最高平均吞吐,相较原始解码最高加速 6.6x;并发 4-32 请求下优于最强竞品 6-23%。

核心要点:

  • 指出并行草稿丢失块内 token 依赖,是扩散式投机解码的隐性瓶颈
  • DCOCO 保留多候选并并行做上下文兼容性评分,恢复依赖且不破坏并行起草
  • 跨 4 验证器 10 基准均获最高吞吐,最高 6.6x 加速,覆盖贪心/随机/长推理
  • 并发服务下优势更明显(4-32 请求领先竞品 6-23%),顺序校正器在高负载下反而掉队

3. 样本自适应零阶后训练:无需真实梯度的快速微调

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2610.12566 标签:零阶优化 · 后训练 · 微调 · 内存高效

零阶(ZO)优化以内存高效著称,是反向传播微调大模型的可行替代,但现有 ZO 方法通常均匀采样训练样本,忽视其动态重要性与可避免的估计方差。本文提出样本自适应零阶优化(SAZO),在线学习目标重要性并自适应分配查询以加速收敛。SAZO 从已有方向差分提取梯度范数信息估计样本重要性,并用逐样本指数滑动平均跟踪稀疏小批反馈下的演化重要性,不增加额外模型评估,仅比 MeZO 多 O(N) 标量状态。理论证明其渐近匹配最小方差采样预言机的收敛主项,且收敛严格快于标准方法。

核心要点:

  • 现有 ZO 均匀采样浪费了样本的演化重要性,留下可避免的估计方差
  • SAZO 在线学样本重要性并自适应分配查询,仅用方向差分与 EMA,零额外前向评估
  • 相比 MeZO 仅多 O(N) 标量状态,理论收敛严格快于标准方法
  • 四个模型族实验显示下游性能提升,相同训练损失下查询数最高快 6 倍

4. 代数整数量化:面向 LLM 推理的无损压缩新格式

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2610.12494 标签:量化 · LLM推理 · 整数运算 · 压缩格式

本文提出代数整数数制(AINF)作为高度可配置且精确的压缩计算框架,其关键特性是可直接归约为纯整数运算,实现无误差乘加。作者据此构建矩阵乘引擎,在现代硬件加速器上取得接近最高效数值实现的性能。AINF 可针对具体数值特征挑选代数整数,提供浮点/定点无法比拟的优化空间。受此启发,作者提出代数整数量化(AIQ)这一面向 LLM 推理的有损压缩格式,在等价每参数比特预算下,于多种模型和基准上取得与业界标准 MX 格式竞争的精度。

核心要点:

  • AINF 可归约为纯整数算术,实现无误差 MAC,矩阵乘引擎性能逼近最优数值实现
  • 可按用例数值特征挑选代数整数,优化自由度超越浮点/定点
  • AIQ 是有损 LLM 推理压缩格式,等效比特预算下精度与业界 MX 格式竞争
  • 当前用二次代数整数,高阶/多维推广有望带来更大算力优势

5. CacheScope:免训练扩散加速的精确计算步分配

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2610.12530 标签:扩散模型 · 推理加速 · 特征复用 · 免训练

免训练特征复用通过用缓存近似替换选定步的完整去噪计算来加速扩散 Transformer 推理。本文发现一旦使用稳定的重建器,提升重建复杂度收益有限,而精确计算步的放置对保真度影响更大;且绝对浅层探测变化受输入轨迹位移与网络响应强度共同影响,不能直接反映缓存风险。CacheScope 据此用输入位移归一化探测输出变化,得到单位轨迹移动的方向增益信号,在线识别高风险复用步并选择性回退到完整去噪,无需额外训练、梯度或离线调度。在 FLUX.1-dev、Wan2.1-T2V-1.3B、Open-Sora 1.2 上最高加速 3.57x,中位 LPIPS 较最强探测基线降 70.1%。

核心要点:

  • 发现重建器稳定后,精确计算步的“位置”比重建复杂度更影响保真度
  • 浅层探测变化混入了输入位移与网络响应,须归一化才反映真实缓存风险
  • CacheScope 在线识别高风险复用步并选择性回退全计算,不改缓存重建器
  • 免训练/无梯度/无离线调度,三模型上最高 3.57x 加速,中位 LPIPS 降 70.1%

6. Ember:让离散显存 GPU 的统一虚拟内存切实可用

来源:arXiv cs.OS 链接:https://arxiv.org/abs/2610.13408 标签:GPU内存 · 统一虚拟内存 · 操作系统 · 超额订阅

GPU 工作集已超出显存容量,应用须超额订阅仅保留热数据于 GPU。NVIDIA UVM 虽支持超额订阅,但数据超显存后性能急剧退化,根源在其故障驱动的数据放置浪费互连带宽、GPU 利用率低。本文提出 Ember —— 面向超额订阅负载的 UVM 管理框架:采用混合地址空间,分配先映射到主机内存省略迁移;用 GPU 硬件计数器做计数驱动的区块提升将热区取至 GPU,用基于衰减的积极回收批量驱逐冷区,并在线跟踪热集。Ember 在 NVIDIA 开源 UVM 驱动中以无修改应用实现,1.5x 超额订阅下比 UVM 快 6.8-10.6x,LLM token 生成快 4.7-16x。

核心要点:

  • 指出 UVM 故障驱动放置浪费互连带宽、GPU 利用率低,超显存后急剧退化
  • Ember 用混合地址空间+计数驱动区块提升+衰减式批量回收,在线跟踪热集
  • 在开源 UVM 驱动中实现、应用零修改,也可作为用户态变体用于原生 CUDA
  • 1.5x 超额订阅下比 UVM 快 6.8-10.6x,LLM token 生成快 4.7-16x,且优于画像式方案

7. 将 Spyre 构建为原生 PyTorch 设备

来源:PyTorch Blog 链接:https://pytorch.org/blog/building-spyre-as-a-native-pytorch-device/ 标签:PyTorch · 设备集成 · 编译器 · PrivateUse1

本文介绍如何将 Spyre 构建为原生 PyTorch 设备:通过 torch-spyre 把 PyTorch 既有的 device、allocator、stream 与 compiler 抽象连接到 Spyre 运行时与固件。借助 PrivateUse1 机制,Spyre 获得真实的设备身份与算子分发路径,从而以最小侵入方式融入 PyTorch 生态,让既有模型与算子无需大幅改造即可在该硬件上运行。

核心要点:

  • 通过 torch-spyre 桥接 PyTorch 的 device/allocator/stream/compiler 抽象到 Spyre 运行时
  • 利用 PrivateUse1 让 Spyre 获得真实设备身份,融入 PyTorch 算子分发体系
  • 以最小侵入方式接入生态,既有模型与算子无需大幅改造即可迁移

📊 今日速览

# 标题摘要 来源 方向
1 Kronecker 积注意力:结构化分解实现高效 KV 缓存压缩 arXiv cs.LG 推理加速
2 并行草稿的上下文校正:投机解码吞吐再提升 arXiv cs.CL 推理加速
3 样本自适应零阶后训练:无需真实梯度的快速微调 arXiv cs.LG 训练/微调
4 代数整数量化:面向 LLM 推理的无损压缩新格式 arXiv cs.LG 量化
5 CacheScope:免训练扩散加速的精确计算步分配 arXiv cs.LG 推理加速
6 Ember:让离散显存 GPU 的统一虚拟内存切实可用 arXiv cs.OS GPU内存/OS
7 将 Spyre 构建为原生 PyTorch 设备 PyTorch Blog 设备集成

自动生成 · 2026-10-13 · jeffinchen daily tech reading list

评论