📰 2026-07-04 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 LLM 推理加速、KV Cache 压缩优化、量化推理、硬件架构创新及深度学习理论。
1. Kara:基于滑动窗口 KV Cache 压缩的高效推理 LLM 服务
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2607.01237
标签:KV Cache 压缩 · LLM 推理 · 链式思维 · 吞吐量优化 · 滑动窗口
推理型大语言模型生成的长链式思维(CoT)会积累海量 KV Cache,导致解码延迟高、吞吐量受限。Kara 方案识别了现有 KV Cache 压缩技术的两大瓶颈:静态压缩策略无法适应推理过程中动态变化的注意力模式,以及压缩后精度损失难以恢复。论文提出基于滑动窗口的自适应 KV Cache 压缩框架,在保证输出质量的前提下大幅降低内存占用和推理延迟。
核心要点:
- 识别现有 KV Cache 压缩方案在推理 LLM 场景下的两大关键局限性
- 提出滑动窗口自适应压缩策略,动态追踪注意力权重分布变化
- 在降低 KV Cache 内存的同时保持推理质量,提升整体服务吞吐量
- 针对长 CoT 场景进行专项优化,适配推理密集型任务
2. KV Cache 压缩的理论风险分析
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2607.01520
标签:KV Cache 压缩 · Transformer 理论 · 长序列推理 · 信息损失 · 最坏情况分析
Softmax 注意力机制在长序列推理时需反复读取大规模 KV Cache,压缩技术虽被广泛使用,但其理论保证却鲜有深入分析。本文从理论角度系统研究 KV Cache 压缩的风险:证明在最坏情况下压缩是不可避免地存在信息损失的,并建立了压缩精度与保留 KV 对数量之间的理论界限,为压缩策略的设计提供数学基础。
核心要点:
- 从理论角度证明 KV Cache 压缩在最坏情况下存在不可避免的精度损失
- 建立压缩比例与模型输出误差之间的定量理论界限
- 分析不同压缩策略(token 剪枝、低秩分解等)的理论特性
- 为工程上的压缩设计提供理论指导,弥补经验驱动的不足
3. KernelSight-LM:内核级 LLM 推理模拟器
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2606.28565
标签:LLM 推理仿真 · GPU 内核分析 · 性能建模 · 硬件-软件协同 · 推理优化
LLM 生产级服务的性能评估需要同时考虑服务层调度策略与底层 GPU 内核执行,现有方案依赖慢速的端到端基准测试,难以快速泛化。KernelSight-LM 提出内核级推理仿真框架,将服务策略与 GPU 算子行为解耦建模,可在不部署真实集群的情况下快速评估不同硬件、模型和调度参数组合下的推理性能。
核心要点:
- 将 LLM 服务层调度与 GPU 内核执行解耦,支持独立建模分析
- 支持跨硬件平台(不同 GPU 型号)的推理性能快速评估
- 覆盖预填充(prefill)和解码(decode)阶段的端到端仿真
- 为推理系统优化提供快速实验迭代工具,减少对真实集群的依赖
4. TileFuse:AMD NPU 上高效量化 LLM 推理的融合混合精度内核库
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2606.11357
标签:量化推理 · NPU · 混合精度 · AWQ · 边缘部署
随着端侧 LLM 部署需求增长,边端 SoC 中的 NPU 成为关键加速单元,但 AWQ 等主流量化格式与现有 NPU 软件栈的兼容性差是实际部署的主要障碍。TileFuse 针对 AMD NPU 设计了一套融合混合精度 GEMM 内核库,通过 Tile 级算子融合和精细化内存访问策略,在有限功耗预算下实现高效量化 LLM 推理。
核心要点:
- 针对 AMD NPU 硬件特性定制混合精度(FP16/INT4/INT8)GEMM 内核
- 通过算子融合(TileFuse)减少数据搬运,提升内存带宽利用率
- 支持 AWQ 量化格式在 NPU 上的高效映射部署
- 在严格功耗和热设计约束下实现显著的推理性能提升
5. MxGLUT:面向混合精度 GEMM 的可重构 LUT 中心广播数据流加速器
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.01607
标签:LLM 推理加速 · 查找表 · 混合精度 · GEMM · 硬件设计
LLM 推理中权重量化(FP8 激活 + 低比特整型权重)导致注意力与 GEMM 之间存在混合精度不统一问题,现有 LUT 加速器仅针对 FP8-INT4 场景且需要独立的浮点数据通路。MxGLUT 提出以 LUT 为中心的可重构广播数据流架构,统一处理混合精度 GEMM 操作,消除冗余硬件模块,在多种量化格式下实现高效推理加速。
核心要点:
- 以可重构查找表(LUT)为核心,统一支持多种混合精度格式的 GEMM
- 广播数据流设计显著减少数据搬运开销,提升硬件利用率
- 消除独立浮点数据通路,简化硬件架构并降低面积功耗
- 覆盖 prefill 和 decode 两阶段,适应 LLM 全推理流程
6. 3DLS:面向分解式 LLM 服务的 3D 逻辑堆叠架构
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.01617
标签:LLM 服务 · 3D 芯片堆叠 · PD 分离 · 张量并行 · 互联架构
LLM 服务中预填充-解码(PD)分离与张量并行(TP)的结合面临 Die-to-Die 互联争用问题:KV Cache 传输与 TP 集合通信共享同一带宽,增加解码关键路径延迟。3DLS 提出 3D 逻辑堆叠芯片架构,通过垂直方向的高带宽 Die-to-Die 通道将 KV Cache 传输与 TP 通信物理隔离,消除混合流量争用。
核心要点:
- 利用 3D 逻辑堆叠在垂直方向提供专用高带宽通道
- 物理隔离 PD 分离的 KV Cache 传输流量与 TP 集合通信流量
- 消除解码关键路径上的互联争用,降低端到端延迟
- 为超大模型长上下文服务场景提供可扩展的硬件架构方案
7. 从逼近到涌现:深度学习理论统一框架
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2607.01311
标签:深度学习理论 · 过参数化 · Transformer 理论 · 涌现能力 · 对齐
深度学习已超越任何单一数学解释框架。本书从近似理论、优化和泛化的经典基础出发,系统追溯到过参数化、鲁棒性、生成模型、Transformer、上下文学习、Scaling Law、可解释性、对齐和涌现等现代机制,构建一套完整的深度学习理论统一体系,涵盖严格证明。
核心要点:
- 从经典逼近理论出发,建立统一的深度学习理论体系
- 系统覆盖 Transformer 理论、上下文学习与 Scaling Law 的数学基础
- 包含过参数化、涌现能力、对齐等前沿话题的理论分析
- 提供严格数学证明,弥补深度学习理论与工程实践的鸿沟
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | Kara:滑动窗口 KV Cache 压缩高效推理 | arXiv cs.CL | 推理加速 |
| 2 | KV Cache 压缩的理论风险分析 | arXiv cs.LG | 理论分析 |
| 3 | KernelSight-LM:内核级推理仿真器 | arXiv cs.AR | 性能建模 |
| 4 | TileFuse:AMD NPU 量化推理内核库 | arXiv cs.AR | 边缘推理 |
| 5 | MxGLUT:LUT 中心混合精度加速器 | arXiv cs.AR | 硬件加速 |
| 6 | 3DLS:3D 逻辑堆叠 LLM 服务架构 | arXiv cs.AR | 芯片架构 |
| 7 | 从逼近到涌现:深度学习理论 | arXiv cs.LG | 基础理论 |
自动生成 · 2026-07-04 · jeffinchen daily tech reading list
评论