← Reading List
📰 技术速递

KV Cache 压缩 · 量化推理 · 硬件加速 · 深度学习理论

Tech多源前沿

📰 2026-07-04 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM 推理加速、KV Cache 压缩优化、量化推理、硬件架构创新及深度学习理论。


1. Kara:基于滑动窗口 KV Cache 压缩的高效推理 LLM 服务

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2607.01237
标签:KV Cache 压缩 · LLM 推理 · 链式思维 · 吞吐量优化 · 滑动窗口

推理型大语言模型生成的长链式思维(CoT)会积累海量 KV Cache,导致解码延迟高、吞吐量受限。Kara 方案识别了现有 KV Cache 压缩技术的两大瓶颈:静态压缩策略无法适应推理过程中动态变化的注意力模式,以及压缩后精度损失难以恢复。论文提出基于滑动窗口的自适应 KV Cache 压缩框架,在保证输出质量的前提下大幅降低内存占用和推理延迟。

核心要点:

  • 识别现有 KV Cache 压缩方案在推理 LLM 场景下的两大关键局限性
  • 提出滑动窗口自适应压缩策略,动态追踪注意力权重分布变化
  • 在降低 KV Cache 内存的同时保持推理质量,提升整体服务吞吐量
  • 针对长 CoT 场景进行专项优化,适配推理密集型任务

2. KV Cache 压缩的理论风险分析

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2607.01520
标签:KV Cache 压缩 · Transformer 理论 · 长序列推理 · 信息损失 · 最坏情况分析

Softmax 注意力机制在长序列推理时需反复读取大规模 KV Cache,压缩技术虽被广泛使用,但其理论保证却鲜有深入分析。本文从理论角度系统研究 KV Cache 压缩的风险:证明在最坏情况下压缩是不可避免地存在信息损失的,并建立了压缩精度与保留 KV 对数量之间的理论界限,为压缩策略的设计提供数学基础。

核心要点:

  • 从理论角度证明 KV Cache 压缩在最坏情况下存在不可避免的精度损失
  • 建立压缩比例与模型输出误差之间的定量理论界限
  • 分析不同压缩策略(token 剪枝、低秩分解等)的理论特性
  • 为工程上的压缩设计提供理论指导,弥补经验驱动的不足

3. KernelSight-LM:内核级 LLM 推理模拟器

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2606.28565
标签:LLM 推理仿真 · GPU 内核分析 · 性能建模 · 硬件-软件协同 · 推理优化

LLM 生产级服务的性能评估需要同时考虑服务层调度策略与底层 GPU 内核执行,现有方案依赖慢速的端到端基准测试,难以快速泛化。KernelSight-LM 提出内核级推理仿真框架,将服务策略与 GPU 算子行为解耦建模,可在不部署真实集群的情况下快速评估不同硬件、模型和调度参数组合下的推理性能。

核心要点:

  • 将 LLM 服务层调度与 GPU 内核执行解耦,支持独立建模分析
  • 支持跨硬件平台(不同 GPU 型号)的推理性能快速评估
  • 覆盖预填充(prefill)和解码(decode)阶段的端到端仿真
  • 为推理系统优化提供快速实验迭代工具,减少对真实集群的依赖

4. TileFuse:AMD NPU 上高效量化 LLM 推理的融合混合精度内核库

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2606.11357
标签:量化推理 · NPU · 混合精度 · AWQ · 边缘部署

随着端侧 LLM 部署需求增长,边端 SoC 中的 NPU 成为关键加速单元,但 AWQ 等主流量化格式与现有 NPU 软件栈的兼容性差是实际部署的主要障碍。TileFuse 针对 AMD NPU 设计了一套融合混合精度 GEMM 内核库,通过 Tile 级算子融合和精细化内存访问策略,在有限功耗预算下实现高效量化 LLM 推理。

核心要点:

  • 针对 AMD NPU 硬件特性定制混合精度(FP16/INT4/INT8)GEMM 内核
  • 通过算子融合(TileFuse)减少数据搬运,提升内存带宽利用率
  • 支持 AWQ 量化格式在 NPU 上的高效映射部署
  • 在严格功耗和热设计约束下实现显著的推理性能提升

5. MxGLUT:面向混合精度 GEMM 的可重构 LUT 中心广播数据流加速器

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.01607
标签:LLM 推理加速 · 查找表 · 混合精度 · GEMM · 硬件设计

LLM 推理中权重量化(FP8 激活 + 低比特整型权重)导致注意力与 GEMM 之间存在混合精度不统一问题,现有 LUT 加速器仅针对 FP8-INT4 场景且需要独立的浮点数据通路。MxGLUT 提出以 LUT 为中心的可重构广播数据流架构,统一处理混合精度 GEMM 操作,消除冗余硬件模块,在多种量化格式下实现高效推理加速。

核心要点:

  • 以可重构查找表(LUT)为核心,统一支持多种混合精度格式的 GEMM
  • 广播数据流设计显著减少数据搬运开销,提升硬件利用率
  • 消除独立浮点数据通路,简化硬件架构并降低面积功耗
  • 覆盖 prefill 和 decode 两阶段,适应 LLM 全推理流程

6. 3DLS:面向分解式 LLM 服务的 3D 逻辑堆叠架构

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.01617
标签:LLM 服务 · 3D 芯片堆叠 · PD 分离 · 张量并行 · 互联架构

LLM 服务中预填充-解码(PD)分离与张量并行(TP)的结合面临 Die-to-Die 互联争用问题:KV Cache 传输与 TP 集合通信共享同一带宽,增加解码关键路径延迟。3DLS 提出 3D 逻辑堆叠芯片架构,通过垂直方向的高带宽 Die-to-Die 通道将 KV Cache 传输与 TP 通信物理隔离,消除混合流量争用。

核心要点:

  • 利用 3D 逻辑堆叠在垂直方向提供专用高带宽通道
  • 物理隔离 PD 分离的 KV Cache 传输流量与 TP 集合通信流量
  • 消除解码关键路径上的互联争用,降低端到端延迟
  • 为超大模型长上下文服务场景提供可扩展的硬件架构方案

7. 从逼近到涌现:深度学习理论统一框架

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2607.01311
标签:深度学习理论 · 过参数化 · Transformer 理论 · 涌现能力 · 对齐

深度学习已超越任何单一数学解释框架。本书从近似理论、优化和泛化的经典基础出发,系统追溯到过参数化、鲁棒性、生成模型、Transformer、上下文学习、Scaling Law、可解释性、对齐和涌现等现代机制,构建一套完整的深度学习理论统一体系,涵盖严格证明。

核心要点:

  • 从经典逼近理论出发,建立统一的深度学习理论体系
  • 系统覆盖 Transformer 理论、上下文学习与 Scaling Law 的数学基础
  • 包含过参数化、涌现能力、对齐等前沿话题的理论分析
  • 提供严格数学证明,弥补深度学习理论与工程实践的鸿沟

📊 今日速览

# 标题摘要 来源 方向
1 Kara:滑动窗口 KV Cache 压缩高效推理 arXiv cs.CL 推理加速
2 KV Cache 压缩的理论风险分析 arXiv cs.LG 理论分析
3 KernelSight-LM:内核级推理仿真器 arXiv cs.AR 性能建模
4 TileFuse:AMD NPU 量化推理内核库 arXiv cs.AR 边缘推理
5 MxGLUT:LUT 中心混合精度加速器 arXiv cs.AR 硬件加速
6 3DLS:3D 逻辑堆叠 LLM 服务架构 arXiv cs.AR 芯片架构
7 从逼近到涌现:深度学习理论 arXiv cs.LG 基础理论

自动生成 · 2026-07-04 · jeffinchen daily tech reading list

评论