← Reading List
📰 技术速递

LLM KV Cache 量化压缩、长上下文推理优化与训练加速

Tech多源前沿

📰 2026-10-28 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM KV Cache 量化与压缩、长上下文推理优化、训练优化器理论、上下文压缩与边缘侧加速器方向。


1. Apple Silicon 上的双重 KV Cache 优化:Block-FP4、径向量化与融合 Metal 内核

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2610.33076
标签:KV Cache · FP4量化 · Apple Silicon · Metal内核 · 推理加速

长上下文自回归推理中,KV Cache 的容量与访存带宽是首要瓶颈。作者在 Apple Silicon M5 Max(MLX 后端)上系统评估了五条 KV Cache 压缩路径:原生 bf16 基线、块缩放 E2M1 FP4、带 QJL 残差的径向量化 Python 参考实现、FP4-to-Polar 顺序组合,以及融合 Metal Polar 内核。

核心要点:

  • 融合 Metal PolarQuant 在 3456 字节/词元下达到 46.8 tok/s,相比 bf16 基线实现 3.64 倍压缩,比 Python Polar 参考快 1.84 倍。
  • 通过块缩放 FP4 与径向量化结合,在极低比特下仍保持可用精度,验证了消费级芯片上极致压缩的可行性。
  • 给出了在统一内存架构(UMA)设备上做 KV Cache 量化的工程化参考实现路径。

2. ZipFusion:将无损 KV 解压与注意力融合以加速 LLM 解码

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2610.33719
标签:KV Cache · 无损压缩 · 注意力融合 · GPU带宽 · 解码加速

KV Cache 随长上下文与高并发请求快速增长,反复 KV 读取使解码阶段成为内存带宽瓶颈。已有的无损压缩方法虽减少了设备间传输,但在注意力计算前仍会在 GPU 显存中还原未压缩 KV,因此并未消除重复 KV 读取,还额外引入解压开销。

核心要点:

  • 提出 ZipFusion,将无损 KV 解压直接融合进注意力计算,避免先还原再读取的两段式流程。
  • 在不牺牲无损性的前提下降低显存带宽压力,提升并发解码吞吐。
  • 针对带宽受限的解码场景,提供比”传输压缩 + 显存还原”更彻底的优化思路。

3. MCF:面向长上下文 LLM 推理的内存与通信协同设计框架

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2610.34731
标签:长上下文推理 · KV Cache布局 · 分块预填充 · 通信感知 · 调度

长上下文推理受限于 KV Cache 的内存容量与跨设备通信。MCF 通过通信感知、随阶段自适应的 KV Cache 布局转换来优化长上下文推理,核心是 MARS(Memory-Aware Replication and Scheduling)动态编排机制,用于分块预填充。

核心要点:

  • MARS 利用预填充早期的内存余量,选择性复制高复用度的 KV 块,改善局部性并将 KV 传播延迟隐藏在注意力计算之后。
  • 随预填充推进、内存收紧,框架自适应切换 KV 布局以平衡通信与存储。
  • 为分布式/多卡长上下文服务提供了”按阶段协同调度”的可落地范式。

4. Muon 何时以及如何预条件:结构化梯度噪声的作用

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2610.31728
标签:优化器 · Muon · 梯度噪声 · LLM训练 · 收敛理论

Muon 已成为大模型训练中流行的优化器,但其理论根基仍不清晰。本文研究梯度噪声几何如何塑造 Muon 的预条件收益:在经典各向同性噪声假设下,Muon 除学习率重缩放外并无额外加速;由此引出对 mini-batch 采样产生的结构化噪声的研究,并给出精确刻画。

核心要点:

  • 理论证明:各向同性噪声下 Muon 不提供超越学习率重缩放的加速,澄清了常见误解。
  • 揭示结构化梯度噪声(源于异质任务频率的联想记忆)才是 Muon 真正受益的来源。
  • 为训练超参与优化器选择提供了基于噪声几何的判据,而非经验调参。

5. 基于状态空间编码的线性时间上下文压缩

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2610.33006
标签:上下文压缩 · 状态空间模型 · 线性时间 · 软提示 · 推理开销

Transformer 随上下文增长带来巨大的计算与显存开销,主流 soft-prompt 压缩方法复用目标模型的 Transformer 主干来生成压缩表示,导致显著延迟,只能用于”压缩一次、多次复用”的离线场景。本文提出 Boa 压缩器,用状态空间模型(SSM)替代 Transformer 主干。

核心要点:

  • 以线性时间复杂度生成压缩表示,将压缩本身的开销降到可在线使用的程度。
  • 摆脱对目标模型主干的依赖,使上下文压缩可适用于在线、低延迟推理。
  • 在保持压缩质量的同时显著降低压缩阶段延迟,拓宽了 soft-prompt 压缩的适用面。

6. SPARTA:面向长上下文边缘推理的稀疏三值 LLM 加速器

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2610.34824
标签:边缘推理 · 三值权重 · 稀疏加速 · 统一数据通路 · KV Cache

边缘设备受限于内存与带宽,1.58 比特三值权重大幅降低存储,但长上下文推理越来越受 KV Cache 流量与注意力计算瓶颈制约。现有加速器对三值线性层与注意力使用分离数据通路,带来硬件与执行开销。SPARTA 提出稀疏三值 LLM 加速器。

核心要点:

  • 采用相位感知稀疏数据流,利用计算阶段间的异构稀疏性提升利用率。
  • 设计统一数据通路同时服务三值线性层与注意力,消除分离通路的开销。
  • 面向长上下文边缘部署,在极低比特权重下兼顾 KV Cache 流量与注意力效率。

7. 基于逐查询模态选择的高效全模态大模型推理

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2610.31768
标签:全模态模型 · 推理成本 · 模态选择 · 自适应推理 · 多模态

全模态大模型(Omni-LLM)可联合处理文本、音频、视频等多模态输入,但固定模态配置常导致推理成本浪费。作者观察到不同查询从额外模态中获益差异显著,进而研究”逐查询模态选择”:保持底层 Omni-LLM 不变,自适应决定每条查询提供哪些模态。

核心要点:

  • 提出按查询动态选择模态的框架,避免为所有请求都加载全部模态的高昂成本。
  • 在保持多模态能力的同时显著降低平均推理开销,性价比随查询异质性提升而放大。
  • 为全模态模型在生产环境的按需推理提供了简洁可行的降本路径。

📊 今日速览

# 标题摘要 来源 方向
1 Apple Silicon 双重 KV Cache 优化(FP4/径向量化/融合 Metal) arXiv cs.AR KV Cache 量化
2 ZipFusion:无损 KV 解压与注意力融合 arXiv cs.AR KV Cache 压缩
3 MCF:长上下文推理内存与通信协同框架 arXiv cs.AR 长上下文推理
4 Muon 预条件收益的结构化梯度噪声理论 arXiv cs.LG 训练优化器
5 状态空间编码的线性时间上下文压缩 arXiv cs.CL 上下文压缩
6 SPARTA:稀疏三值边缘 LLM 加速器 arXiv cs.AR 边缘加速器
7 逐查询模态选择的高效全模态推理 arXiv cs.LG 多模态推理

自动生成 · 2026-10-28 · jeffinchen daily tech reading list

评论