📰 2026-10-28 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 LLM KV Cache 量化与压缩、长上下文推理优化、训练优化器理论、上下文压缩与边缘侧加速器方向。
1. Apple Silicon 上的双重 KV Cache 优化:Block-FP4、径向量化与融合 Metal 内核
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2610.33076
标签:KV Cache · FP4量化 · Apple Silicon · Metal内核 · 推理加速
长上下文自回归推理中,KV Cache 的容量与访存带宽是首要瓶颈。作者在 Apple Silicon M5 Max(MLX 后端)上系统评估了五条 KV Cache 压缩路径:原生 bf16 基线、块缩放 E2M1 FP4、带 QJL 残差的径向量化 Python 参考实现、FP4-to-Polar 顺序组合,以及融合 Metal Polar 内核。
核心要点:
- 融合 Metal PolarQuant 在 3456 字节/词元下达到 46.8 tok/s,相比 bf16 基线实现 3.64 倍压缩,比 Python Polar 参考快 1.84 倍。
- 通过块缩放 FP4 与径向量化结合,在极低比特下仍保持可用精度,验证了消费级芯片上极致压缩的可行性。
- 给出了在统一内存架构(UMA)设备上做 KV Cache 量化的工程化参考实现路径。
2. ZipFusion:将无损 KV 解压与注意力融合以加速 LLM 解码
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2610.33719
标签:KV Cache · 无损压缩 · 注意力融合 · GPU带宽 · 解码加速
KV Cache 随长上下文与高并发请求快速增长,反复 KV 读取使解码阶段成为内存带宽瓶颈。已有的无损压缩方法虽减少了设备间传输,但在注意力计算前仍会在 GPU 显存中还原未压缩 KV,因此并未消除重复 KV 读取,还额外引入解压开销。
核心要点:
- 提出 ZipFusion,将无损 KV 解压直接融合进注意力计算,避免先还原再读取的两段式流程。
- 在不牺牲无损性的前提下降低显存带宽压力,提升并发解码吞吐。
- 针对带宽受限的解码场景,提供比”传输压缩 + 显存还原”更彻底的优化思路。
3. MCF:面向长上下文 LLM 推理的内存与通信协同设计框架
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2610.34731
标签:长上下文推理 · KV Cache布局 · 分块预填充 · 通信感知 · 调度
长上下文推理受限于 KV Cache 的内存容量与跨设备通信。MCF 通过通信感知、随阶段自适应的 KV Cache 布局转换来优化长上下文推理,核心是 MARS(Memory-Aware Replication and Scheduling)动态编排机制,用于分块预填充。
核心要点:
- MARS 利用预填充早期的内存余量,选择性复制高复用度的 KV 块,改善局部性并将 KV 传播延迟隐藏在注意力计算之后。
- 随预填充推进、内存收紧,框架自适应切换 KV 布局以平衡通信与存储。
- 为分布式/多卡长上下文服务提供了”按阶段协同调度”的可落地范式。
4. Muon 何时以及如何预条件:结构化梯度噪声的作用
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2610.31728
标签:优化器 · Muon · 梯度噪声 · LLM训练 · 收敛理论
Muon 已成为大模型训练中流行的优化器,但其理论根基仍不清晰。本文研究梯度噪声几何如何塑造 Muon 的预条件收益:在经典各向同性噪声假设下,Muon 除学习率重缩放外并无额外加速;由此引出对 mini-batch 采样产生的结构化噪声的研究,并给出精确刻画。
核心要点:
- 理论证明:各向同性噪声下 Muon 不提供超越学习率重缩放的加速,澄清了常见误解。
- 揭示结构化梯度噪声(源于异质任务频率的联想记忆)才是 Muon 真正受益的来源。
- 为训练超参与优化器选择提供了基于噪声几何的判据,而非经验调参。
5. 基于状态空间编码的线性时间上下文压缩
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2610.33006
标签:上下文压缩 · 状态空间模型 · 线性时间 · 软提示 · 推理开销
Transformer 随上下文增长带来巨大的计算与显存开销,主流 soft-prompt 压缩方法复用目标模型的 Transformer 主干来生成压缩表示,导致显著延迟,只能用于”压缩一次、多次复用”的离线场景。本文提出 Boa 压缩器,用状态空间模型(SSM)替代 Transformer 主干。
核心要点:
- 以线性时间复杂度生成压缩表示,将压缩本身的开销降到可在线使用的程度。
- 摆脱对目标模型主干的依赖,使上下文压缩可适用于在线、低延迟推理。
- 在保持压缩质量的同时显著降低压缩阶段延迟,拓宽了 soft-prompt 压缩的适用面。
6. SPARTA:面向长上下文边缘推理的稀疏三值 LLM 加速器
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2610.34824
标签:边缘推理 · 三值权重 · 稀疏加速 · 统一数据通路 · KV Cache
边缘设备受限于内存与带宽,1.58 比特三值权重大幅降低存储,但长上下文推理越来越受 KV Cache 流量与注意力计算瓶颈制约。现有加速器对三值线性层与注意力使用分离数据通路,带来硬件与执行开销。SPARTA 提出稀疏三值 LLM 加速器。
核心要点:
- 采用相位感知稀疏数据流,利用计算阶段间的异构稀疏性提升利用率。
- 设计统一数据通路同时服务三值线性层与注意力,消除分离通路的开销。
- 面向长上下文边缘部署,在极低比特权重下兼顾 KV Cache 流量与注意力效率。
7. 基于逐查询模态选择的高效全模态大模型推理
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2610.31768
标签:全模态模型 · 推理成本 · 模态选择 · 自适应推理 · 多模态
全模态大模型(Omni-LLM)可联合处理文本、音频、视频等多模态输入,但固定模态配置常导致推理成本浪费。作者观察到不同查询从额外模态中获益差异显著,进而研究”逐查询模态选择”:保持底层 Omni-LLM 不变,自适应决定每条查询提供哪些模态。
核心要点:
- 提出按查询动态选择模态的框架,避免为所有请求都加载全部模态的高昂成本。
- 在保持多模态能力的同时显著降低平均推理开销,性价比随查询异质性提升而放大。
- 为全模态模型在生产环境的按需推理提供了简洁可行的降本路径。
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | Apple Silicon 双重 KV Cache 优化(FP4/径向量化/融合 Metal) | arXiv cs.AR | KV Cache 量化 |
| 2 | ZipFusion:无损 KV 解压与注意力融合 | arXiv cs.AR | KV Cache 压缩 |
| 3 | MCF:长上下文推理内存与通信协同框架 | arXiv cs.AR | 长上下文推理 |
| 4 | Muon 预条件收益的结构化梯度噪声理论 | arXiv cs.LG | 训练优化器 |
| 5 | 状态空间编码的线性时间上下文压缩 | arXiv cs.CL | 上下文压缩 |
| 6 | SPARTA:稀疏三值边缘 LLM 加速器 | arXiv cs.AR | 边缘加速器 |
| 7 | 逐查询模态选择的高效全模态推理 | arXiv cs.LG | 多模态推理 |
自动生成 · 2026-10-28 · jeffinchen daily tech reading list
评论