← Reading List
📰 技术速递

KV Cache 优化 · 全秩 PEFT · 多智能体潜空间通信 · 扩散模型量化 · DNN加速器 · PIM编译器

TecharXivLLM推理加速PEFT量化

📰 2026-05-26 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 KV Cache 优化、参数高效微调、多智能体推理、扩散模型量化、DNN 加速器架构、存内计算编译器。


1. Tensor Cache:面向 Transformer 的逐出条件联想内存机制

来源:cs.LG · arXiv
链接:https://arxiv.org/abs/2605.22884
标签:KV Cache · Transformer · 内存管理 · 推理加速 · 上下文压缩

自回归 Transformer 的 KV Cache 随上下文长度线性增长,在长序列推理时成为显著瓶颈。本文提出 Tensor Cache,一种基于「逐出条件」的联想内存机制,将不活跃的 KV 条目动态卸载至容量更大的辅助存储,并通过内容寻址实现高效召回。该设计在不牺牲生成质量的前提下,大幅降低显存占用,支持超长上下文推理。

核心要点:

  • KV Cache 按逐出条件动态管理,非活跃条目实时卸载,打破显存线性增长瓶颈
  • 联想内存(内容寻址)机制保证召回精度,避免简单截断带来的信息丢失
  • 在标准 Transformer 架构上即插即用,无需重新训练模型

2. FuRA:带谱预条件的全秩参数高效微调方法

来源:cs.LG · arXiv
链接:https://arxiv.org/abs/2605.22869
标签:PEFT · LoRA · 全秩微调 · 谱预条件 · 大模型训练

全量微调(Full FT)与低秩适配(LoRA)各有局限:前者参数量大、后者秩受限表达能力不足。FuRA 提出一种全秩 PEFT 方法,通过谱预条件(Spectral Preconditioning)调整梯度空间,在参数量接近 LoRA 的前提下实现全秩更新。实验表明 FuRA 在多项下游任务上同时优于 Full FT 和 LoRA,兼顾效率与表达能力。

核心要点:

  • 全秩更新克服 LoRA 的低秩瓶颈,同时保持与 LoRA 相近的参数开销
  • 谱预条件技术改善优化景观,加速收敛并提升泛化性
  • 在指令跟随、代码生成等多个基准上超越现有 PEFT 基线

3. Latent Cache Flow:无需文本的模型间潜空间通信

来源:cs.LG · arXiv
链接:https://arxiv.org/abs/2605.22863
标签:LLM Agent · KV Cache · 多智能体 · 推理延迟 · 潜空间通信

现有 LLM Agent 通过文本交互,存在序列化/反序列化开销和信息损失。本文提出 Latent Cache Flow,让模型间直接传递 KV Cache(潜空间表示),绕过文本生成步骤。该机制显著降低多智能体流水线延迟,并在信息保真度上优于文本中转方案,为高效 Agentic 系统提供基础设施层面的新思路。

核心要点:

  • 直接传递 KV Cache 代替文本序列,消除 token 生成和解码开销
  • 潜空间通信减少信息损耗,在复杂推理链中保持更高上下文保真度
  • 为构建低延迟多智能体系统提供新的架构范式

4. MASQ:基于分阶段多精度量化加速 Masked Diffusion

来源:cs.AR · arXiv
链接:https://arxiv.org/abs/2605.23226
标签:模型量化 · Masked Diffusion · 多精度 · 推理加速 · 图像生成

Masked Diffusion 支持区域特定图像合成,但推理成本高昂。MASQ 提出分阶段多精度量化策略:在扩散早期粗糙步骤使用低精度,在细化步骤逐步提高精度,实现精度-速度的动态权衡。实验在 GPU 上取得显著推理加速,图像质量几乎无损,为扩散模型的硬件高效部署提供实用方案。

核心要点:

  • 分阶段精度策略匹配 Diffusion 各步骤的信息重要性,避免无差别量化损失
  • 在 A100/H100 等主流 GPU 上实测推理速度提升显著
  • 量化感知训练与后训练量化结合,降低部署门槛

5. DORA:面向 DNN 加速的数据流-指令编排架构

来源:cs.AR · arXiv
链接:https://arxiv.org/abs/2605.23833
标签:DNN加速器 · 数据流架构 · 硬件设计 · 编译器 · 神经网络推理

随着 DNN 模型结构日趋多样,单一数据流的加速器难以高效覆盖所有算子。DORA 提出数据流-指令编排架构,通过编译器感知的指令调度,动态适配不同层的计算访存模式。在 GEMM、卷积、注意力等算子上均取得优于专用加速器的吞吐,实现更通用的 DNN 硬件加速平台。

核心要点:

  • 指令级数据流编排适配异构算子,避免固定数据流带来的低效
  • 编译器与硬件协同设计,自动生成最优指令序列
  • 在多种 DNN 模型(CNN、Transformer)上验证,吞吐和能效均有提升

6. DCC:面向存内计算架构的以数据为中心的 ML 核编译

来源:cs.AR · arXiv
链接:https://arxiv.org/abs/2511.15503
标签:PIM · 存内计算 · 编译器 · 机器学习 · 内存墙

Processing-In-Memory(PIM)架构通过在内存侧执行计算,绕过数据搬运瓶颈,但现有编译器对 ML 算子的 PIM 映射支持不足。DCC 提出以数据为中心的编译流程,以数据分布而非计算图为优化主轴,自动生成高效的 PIM 内核。在矩阵乘法、Embedding 等算子上,DCC 相比 CPU 显著降低数据移动量和延迟。

核心要点:

  • 以数据分布驱动编译决策,最小化 PIM 与主机间的数据搬运
  • 自动生成 PIM 内核,减少手工调优工作量
  • 针对 Embedding 查找等内存密集型 ML 算子效果显著

📊 今日速览

# 标题摘要 来源 方向
1 Tensor Cache:逐出条件 KV Cache 联想内存 arXiv cs.LG 推理加速 / 内存优化
2 FuRA:谱预条件全秩 PEFT arXiv cs.LG 大模型微调
3 Latent Cache Flow:LLM 潜空间通信 arXiv cs.LG 多智能体推理
4 MASQ:分阶段多精度量化 Diffusion arXiv cs.AR 模型量化
5 DORA:DNN 数据流-指令编排加速器 arXiv cs.AR DNN加速器架构
6 DCC:以数据为中心的 PIM ML 编译 arXiv cs.AR 存内计算编译器

自动生成 · 2026-05-26 · jeffinchen daily tech reading list

评论