← Reading List
📰 技术速递

KV Cache优化 · CUDA调度 · 投机解码 · MoA调度 · LLM Agent · 稀疏注意力

TecharXiv前沿

📰 2026-06-06 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 KV Cache 优化、CUDA Graph 调度、投机解码、Mixture-of-Agents 调度、自动化 ML Agent 与跨层稀疏注意力。


1. 多段注意力:面向高效 KV 缓存管理的大模型推理加速

来源:arXiv/cs.AR
链接:https://arxiv.org/abs/2606.02964v1
标签:KV Cache · 注意力机制 · LLM推理 · 内存优化 · 推理加速

大语言模型推理依赖 KV Cache 避免冗余注意力计算,但近似 KV Cache 保留技术(如页注意力、块稀疏化)在动态序列长度下效率受限。本文提出 Multi-Segment Attention(MSA),将 KV Cache 划分为多个连续段,通过段级精确控制实现细粒度内存管理,在保持精度的同时显著提升吞吐量。

核心要点:

  • 将 KV Cache 组织为多段连续内存,支持段级动态驱逐与复用
  • 在长上下文场景(32K+ tokens)相比 PagedAttention 提升推理吞吐量
  • 兼容主流 Transformer 架构,无需重训练,可直接集成到现有推理框架

2. SET:面向 CUDA Graph 流水线的流事件触发调度

来源:arXiv/cs.DC
链接:https://arxiv.org/abs/2606.05495v1
标签:CUDA · GPU调度 · 流水线优化 · 推理框架 · 内核启动

GPU 推理系统中主机-设备同步延迟和内核启动开销是制约吞吐量的关键瓶颈。本文提出 SET(Stream-Event-Triggered Scheduling),利用 CUDA Stream 和 Event 机制设计事件触发调度策略,消除不必要的 CPU-GPU 同步点,并通过静态图分析在编译时确定调度顺序,实现近零 overhead 的 CUDA Graph 流水线管理。

核心要点:

  • 引入流事件触发(SET)机制,消除 CUDA Graph 中的冗余同步屏障
  • 通过静态数据流分析在编译期生成最优调度顺序,运行时 overhead 极低
  • 在 LLM 推理 benchmark 上相比基础 CUDA Graph 方案提升 GPU 利用率 15-25%

3. Multi-SPIN:面向边缘协同 Token 生成的多访问投机推理

来源:arXiv/cs.DC
链接:https://arxiv.org/abs/2606.04581v1
标签:投机解码 · 边缘推理 · 协同生成 · LLM加速 · 分布式推理

投机推理(Speculative Inference)通过小模型起草、大模型验证实现 LLM 加速。本文将其扩展到边缘多设备场景,提出 Multi-SPIN,允许多个边缘节点并发生成草稿 token,目标 LLM 执行单次并行验证,大幅降低端到端延迟。适用于资源受限的边缘协同推理场景。

核心要点:

  • 将投机推理扩展为多客户端协同模式,边缘节点并发起草 token
  • 目标 LLM 单次前向完成多路草稿并行验证,降低验证通信轮次
  • 在边缘推理场景(4 节点协同)实现 2-3x 端到端延迟降低

4. MOSAIC:基于自适应聚合与并发推理的 Mixture-of-Agents 高效调度

来源:arXiv/cs.AR
链接:https://arxiv.org/abs/2606.03014v1
标签:MoA · 多智能体 · 推理调度 · 并发推理 · LLM系统

Mixture-of-Agents(MoA)通过将查询路由到多个专家 LLM 并聚合结果来提升推理精度,但顺序调用带来严重延迟。本文提出 MOSAIC,通过自适应聚合策略(按置信度动态裁剪需聚合的模型数量)和推理并发控制,在保持精度的前提下将 MoA 系统延迟降低至接近单模型水平。

核心要点:

  • 自适应聚合:依据中间结果置信度动态决定是否继续调用额外专家模型
  • 推理并发控制:合理编排多 LLM 并行调用,最大化 GPU 利用率
  • 在 MT-Bench 等评测中以 40% 的推理 token 消耗达到接近原始 MoA 的精度

5. MLEvolve:自进化的自动化机器学习算法发现框架

来源:arXiv/cs.CL
链接:https://arxiv.org/abs/2606.06473v1
标签:LLM Agent · 自动化ML · 算法发现 · 科学发现 · 长程任务

LLM Agent 在科学发现、机器学习工程等长时程任务上展现潜力,但缺乏迭代改进机制。MLEvolve 提出「自进化」框架:Agent 自主编写、执行、评估实验代码,将成功路径写入记忆库,驱动下一轮算法变异与组合,形成闭环演化。在标准 MLE-bench 任务上超越现有自动 ML 方法。

核心要点:

  • 自进化记忆机制:将成功实验路径编码入记忆库,指导后续探索方向
  • 结合代码生成与自动评估,支持算法变异、组合与剪枝的完整进化循环
  • 在 MLE-bench 评测中超越 AIDE 等现有自动化 ML Agent 基线

6. You Only Index Once:跨层稀疏注意力与共享路由

来源:arXiv/cs.CL
链接:https://arxiv.org/abs/2606.06467v1
标签:稀疏注意力 · 长上下文 · 推理效率 · 跨层路由 · KV压缩

长上下文 LLM 推理中,逐 token 解码效率受稀疏注意力路由开销制约。本文提出 YOIO(You Only Index Once),关键洞察是不同 Transformer 层的注意力路由高度相关,可以跨层共享同一路由索引,避免逐层重复计算。实验表明在 128K+ 上下文长度下,解码速度提升显著,精度损失极小。

核心要点:

  • 发现跨层注意力路由相似性,提出共享路由索引(单次计算、多层复用)
  • 在 128K 上下文长度下相比逐层稀疏注意力,解码延迟降低 30-40%
  • 兼容 GQA/MHA 架构,可无缝集成到现有长上下文 LLM 推理引擎

📊 今日速览

# 标题摘要 来源 方向
1 多段注意力:面向高效 KV 缓存管理… arXiv/cs.AR LLM推理/KV Cache
2 SET:面向 CUDA Graph … arXiv/cs.DC CUDA/GPU系统
3 Multi-SPIN:面向边缘协同 … arXiv/cs.DC 投机解码/边缘推理
4 MOSAIC:基于自适应聚合与并发推… arXiv/cs.AR MoA/多智能体调度
5 MLEvolve:自进化的自动化机器… arXiv/cs.CL LLM Agent/自动化ML
6 You Only Index Onc… arXiv/cs.CL 长上下文/稀疏注意力

自动生成 · 2026-06-06 · jeffinchen daily tech reading list

评论