← Reading List
📰 技术速递

推理引擎横评、KV Cache 压缩与长上下文注意力优化

Tech多源前沿

📰 2026-06-07 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖推理引擎经济学、KV Cache 优化、长上下文内核与量化内核设计。


1. 2026 LLM 推理引擎横评:vLLM、SGLang、TensorRT-LLM 与推理经济学

来源:技术博客(推理引擎横评) 链接:https://yomxxx.com/posts/2026-06-04-llm-inference-engine-comparison-2026-tools 标签:推理引擎 · 成本优化 · 吞吐对比 · 选型

2026 年推理已占企业 AI 算力支出约 85%,引擎选型从技术问题变成财务问题。本文在统一硬件与负载下横评三大引擎的吞吐/延迟/成本曲线,并给出”先算单位 token 成本,再看功能矩阵”的选型框架,是少见的把推理经济学讲透的实测文章。

核心要点:

  • 推理成本结构分析:GPU 时间单价 × 每 token 算力效率
  • 三引擎在不同并发/上下文长度下的吞吐交叉点
  • 量化、前缀缓存与 PD 分离对成本曲线的实际影响

2. KV Cache 优化综述:从算法到系统的长上下文推理

来源:arXiv cs.CL(HKUST-GZ 综述) 链接:https://dsa.hkust-gz.edu.cn/zh/blog/2026/05/28/kv-cache-optimization-for-efficient-long-contextllm-inference-from-algorithms-to-systems/ 标签:KV Cache · 长上下文 · 综述 · 推理系统

系统梳理 KV Cache 优化的完整技术栈:算法层(量化、稀疏化、窗口化、跨层共享)、内核层(分页与访存优化)、系统层(跨请求复用与 offload)。作为 2026 年最新的系统性综述,适合作为 KV Cache 方向的路线图使用。

核心要点:

  • KV Cache 优化的四层拆解:算法/压缩/内核/系统
  • 各类稀疏化方案的召回率-加速比权衡实测
  • 长上下文场景下 prefill 与 decode 的差异化优化路径

3. H2O:面向大语言模型生成推理的重度命中者驱逐

来源:arXiv cs.CL(NeurIPS’23 论文) 链接:https://arxiv.org/abs/2306.14048 标签:KV 驱逐 · 稀疏注意力 · 推理加速 · 算法-系统

H2O 发现 KV Cache 中存在”重度命中者”(heavy hitters):少量 token 的 KV 被绝大多数后续 token 反复查询。动态保留 heavy hitters 即可在 5 倍压缩下保持精度,把 KV Cache 从”只增不减”变成”预算可控”。它是 KV 驱逐路线的开山之作,今天的 SnapKV、PyramidKV 都沿用其思想。

核心要点:

  • Attention 累积得分识别 heavy hitter token
  • 动态驱逐策略:保持 KV 预算恒定的在线算法
  • 5 倍 KV 压缩下精度损失可忽略,吞吐显著提升

4. PagedAttention 与 vLLM:KV Cache 的操作系统化

来源:vLLM 官方博客(PagedAttention 发布文) 链接:https://blog.vllm.ai/2023/06/20/vllm-mlsys2023.html 标签:vLLM · 分页 · KV Cache · 推理服务

vLLM 官方博客复盘 PagedAttention 的设计动机:传统 KV Cache 预分配导致 60-80% 内存浪费,分页机制将碎片率降到 4% 以下,并通过逻辑块映射支持前缀共享与写时复制。配合吞吐实测数据,是理解 vLLM 为什么能横扫推理生态的第一手材料。

核心要点:

  • 预分配 vs 分页的内存浪费量化对比
  • 逻辑块表的设计:跨请求 KV 共享的实现机制
  • Copy-on-Write 支撑并行采样(n-best)的低成本实现

5. SGLang 2026:高性能推理引擎的演进全景

来源:技术博客(SGLang 深度解析) 链接:https://www.programming-helper.com/tech/sglang-2026-high-performance-llm-inference-framework 标签:SGLang · RadixAttention · 推理框架 · 2026

梳理 SGLang 从学术项目到生产级引擎的演进:RadixAttention 前缀树缓存的命中 economics、结构化生成 DSL、与 vLLM 的功能追平过程。对需要在前缀密集型负载(多轮对话、Agent、Few-shot)中选型的团队是很好的参考。

核心要点:

  • RadixAttention 的缓存命中模型与淘汰策略
  • 结构化输出(JSON Schema/Regex)的内核级加速
  • 多模态与分布式推理支持的演进时间线

6. GLA:门控线性注意力是 All You Need?

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2312.06635 标签:线性注意力 · 状态空间 · 架构 · 长序列

线性注意力把 O(N²) 注意力改写为 O(N) 的循环状态更新,配合门控机制在语言任务上逼近 Transformer 质量。Gated Linear Attention 论文给出硬件高效的 chunked 并行训练算法与内核实现,是 Mamba 之外另一条值得关注的长序列架构路线,也解释了 2026 年混合架构(如 Qwen 的 GDN + MoE)的来源。

核心要点:

  • 线性注意力的递推形式与 chunked 并行训练算法
  • 硬件感知内核:Triton 实现的 IO 优化细节
  • 质量-效率谱系:全注意力 vs 线性注意力的实测对比

📊 今日速览

# 标题摘要 来源 方向
1 2026 LLM 推理引擎横评与推理经济学 技术博客 推理引擎
2 KV Cache 优化综述:从算法到系统 HKUST-GZ Blog KV Cache
3 H2O:重度命中者驱逐 arXiv cs.CL KV 驱逐
4 PagedAttention 与 vLLM:KV Cache 的操作系统化 vLLM Blog KV Cache
5 SGLang 2026:高性能推理引擎的演进全景 技术博客 SGLang
6 GLA:门控线性注意力 arXiv cs.LG 线性注意力

自动生成 · 2026-06-07 · jeffinchen daily tech reading list

评论