← Reading List
📰 技术速递

LLM推理加速 · KV Cache优化 · GPU编译器 · 边缘AI硬件

Tech多源前沿

📰 2026-05-13 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM推理加速、KV Cache量化压缩、扩散模型推理优化、GPU编译器与边缘AI硬件加速。


1. KV Cache 量化方案统计推断与质量度量:TurboQuant 启发的分析

来源:cs.LG / arXiv
链接:https://arxiv.org/abs/2605.08114
标签:KV Cache · 量化 · LLM推理 · 统计推断 · 注意力机制

本文对三种 KV cache 量化方案在相同比特预算下进行了系统比较:标量 MSE 基线(KV)、WHT+MSE+QJL 混合方案(KQV/QKQV)。从超球面上的 Beta 分布出发,推导了 QJL 对 K 向量内积方差的膨胀效应(π/2 倍),并揭示 softmax 通过 Jensen 不等式非线性放大该误差。研究为选择合适的 KV 量化方案提供了理论依据,对减少大模型推理内存占用有直接指导意义。

核心要点:

  • 系统比较 KV、KQV、QKQV 三种量化策略,揭示 WHT+QJL 组合的精度/压缩权衡
  • 从信息几何角度推导 QJL 对注意力分布的量化误差传播机制
  • 为实际部署 LLM 推理时的 KV cache 压缩提供理论量化指导

2. DARE:扩散语言模型激活复用加速推理

来源:cs.LG / arXiv
链接:https://arxiv.org/abs/2605.08134
标签:扩散语言模型 · 推理加速 · 激活复用 · 并行生成 · dLLM

扩散大语言模型(dLLMs)相比自回归模型具备更强的表达能力与并行生成潜力,但目前开源 dLLMs 在效率和质量上仍落后。本文发现 dLLMs 双向自注意力中存在大量 token 级冗余:相邻去噪步骤的自注意力激活高度相似。基于此,DARE 提出跨步骤激活复用策略,显著降低计算开销,同时保持生成质量,为 dLLMs 走向实用化推理加速提供了新路径。

核心要点:

  • 发现 dLLMs 双向注意力中跨去噪步骤的 token 级激活冗余现象
  • 提出 DARE 激活复用框架,无需额外训练即可提升推理效率
  • 对扩散 LLM 与自回归 LLM 的推理效率差距缩小具有实践价值

3. 单层揭秘:大语言模型中巨型激活值的起源与传播

来源:cs.CL / arXiv
链接:https://arxiv.org/abs/2605.08504
标签:大模型机制 · 巨型激活 · 残差连接 · 可解释性 · LLM内部结构

大语言模型中的「巨型激活值」现象长期困扰量化与压缩研究,其成因尚不明确。本文系统溯源,发现跨模型家族中均存在一个特定层——巨型涌现层(ME Layer),在该层 RMSNorm 与 FFN 参数协同作用产生巨型激活,并通过残差连接向后传播至更深层。该发现对量化异常值处理、模型剪枝与 KV cache 压缩均有直接影响。

核心要点:

  • 定位跨模型族普遍存在的巨型激活涌现层(ME Layer),揭示其产生机制
  • 证明 RMSNorm 与 FFN 的联合作用是巨型激活的根本来源
  • 为异常值感知量化和模型压缩方案设计提供新的理论基础

4. DSPE:基于 MerkleTree 增量剪枝与自适应 Posit 的 DeepSeek 边缘推理处理器

来源:cs.AR / arXiv
链接:https://arxiv.org/abs/2605.08615
标签:边缘推理 · 硬件加速器 · DeepSeek · 稀疏剪枝 · Posit数值

DeepSeek 模型在推理性能上表现出色,但其高计算量和能耗使边缘部署极具挑战。DSPE(DeepSeek Processing Element)是专为能量受限边缘设备设计的加速架构,引入三项核心技术:基于 MerkleTree 的增量安全剪枝(MIPS)、多阶段 Booth 查找乘法器,以及动态自适应 Posit 数值处理。在推理吞吐与能效方面均优于现有方案。

核心要点:

  • MerkleTree 增量剪枝实现安全冗余向量删减,降低计算冗余
  • 多阶段 Booth 查找表减少乘法器面积与延迟
  • 动态 Posit 数值格式自适应提升低精度推理的数值稳定性

5. ReRAM-on-Logic 堆叠 LLM 加速器:135.69 Token/s 的投机解码实现

来源:cs.AR / arXiv
链接:https://arxiv.org/abs/2605.09375
标签:LLM加速器 · ReRAM · 投机解码 · 量化 · 硬件架构

本文提出基于 55nm 工艺的 ReRAM-on-Logic 面对面堆叠 LLM 加速芯片,实现 14.08~135.69 Token/s 的推理吞吐。核心创新包括:局部旋转单元消除量化异常值(Outlier-Free 低位宽量化)、面向堆叠感知的 PNM 架构结合分块向量量化降低权重 EMA 开销,以及自适应并行投机解码配合乱序调度器最大化资源与带宽利用率。

核心要点:

  • ReRAM-on-Logic Bump-based 面对面堆叠技术大幅提升存储带宽
  • 本地旋转单元实现无异常值低位宽权重量化,无需额外校准
  • 自适应并行投机解码与乱序调度协同,显著提升吞吐并降低延迟

6. KV-RM:静态图 LLM 推理服务的 KV Cache 移动正则化

来源:cs.AR / arXiv
链接:https://arxiv.org/abs/2605.09735
标签:LLM推理服务 · KV Cache · 静态图 · 内存管理 · 延迟优化

静态图 LLM 解码器具有可预测启动、固定张量形状和低提交开销等优势,但在线解码时 KV cache 行为高度不规则:请求长度各异、EOS 异步到达、逻辑历史随时间碎片化。KV-RM 通过正则化 KV cache 移动行为,在静态图执行框架中实现动态运行时的灵活性,缓解内存过度预留和突发延迟问题。

核心要点:

  • 分析静态图 LLM 解码中 KV cache 不规则行为的根本原因
  • 提出 KV-RM 正则化策略,在不引入动态调度的前提下控制内存碎片
  • 显著减少静态图执行时的内存预留浪费和延迟抖动

7. TLX:面向大规模生产的硬件原生可演化 MIMW GPU 编译器

来源:cs.AR / arXiv
链接:https://arxiv.org/abs/2605.10905
标签:GPU编译器 · Tensor Core · 异步执行 · 生产级编译器 · MIMW

现代 GPU 越来越依赖专用硬件单元与异步协调机制,性能关键在于编排数据移动、Tensor Core 计算与同步,而非简单暴露更多线程级并行。TLX 是一个硬件原生、可演化的 MIMW(Multiple-Input Multiple-Warp)GPU 编译器,旨在平衡编译器抽象与硬件控制粒度,支持 Tensor Core 新特性与异步流水线的高效利用,面向大规模生产环境设计。

核心要点:

  • MIMW 编程模型解耦数据移动与计算,统一表达异步 GPU 执行流
  • 硬件原生设计直接映射 Tensor Core 指令与 warp 级协调原语
  • 可演化架构支持随 GPU 硬件迭代灵活扩展,面向生产环境长期维护

📊 今日速览

# 标题摘要 来源 方向
1 KV Cache 量化方案统计推断与质量度量:TurboQu… cs.LG KV Cache
2 DARE:扩散语言模型激活复用加速推理… cs.LG 扩散语言模型
3 单层揭秘:大语言模型中巨型激活值的起源与传播… cs.CL 大模型机制
4 DSPE:基于 MerkleTree 增量剪枝与自适应 Po… cs.AR 边缘推理
5 ReRAM-on-Logic 堆叠 LLM 加速器:135…. cs.AR LLM加速器
6 KV-RM:静态图 LLM 推理服务的 KV Cache 移… cs.AR LLM推理服务
7 TLX:面向大规模生产的硬件原生可演化 MIMW GPU 编… cs.AR GPU编译器

自动生成 · 2026-05-13 · jeffinchen daily tech reading list

评论