← Reading List
📰 技术速递

大模型训练·推理加速·硬件协同:从 KV 缓存到脉动阵列

Tech多源前沿

📰 2026-10-16 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 推理服务、稀疏注意力、分布式训练、编译器后端与低秩微调。


1. CacheSmith:面向延迟 SLO 的自适应 KV 复用 RAG 服务系统

来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2610.18925 标签:KV Cache · RAG 推理 · 延迟 SLO · 预填充优化

CacheSmith 是一个面向 RAG 预填充阶段的 KV 缓存复用系统,在复用已检索文档块预计算 KV 状态以降低首 token 延迟的同时,弥补了全量拼接输入下被忽略的跨块注意力(cross-chunk attention)。它采用质量门控(quality-gated)的选择性重计算策略,在延迟约束下最大化 SLO 达成率,适合高并发 RAG 在线服务。

核心要点:

  • 上下文缓存通过复用预计算 KV 降低预填充延迟,但会丢失全量拼接输入下的跨块注意力
  • 选择性重计算方案以质量门控方式在精度与延迟间权衡,决定是否对部分块重算
  • 在延迟 SLO 约束下显著提升服务质量达成率,对高并发 RAG 服务价值明显

2. MFSA:原生支持 Micro Scaling 的多格式脉动阵列

来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2610.19645 标签:脉动阵列 · 低精度量化 · Micro Scaling · AI 加速器

随着 BF16/FP16/FP8/FP4、Micro Scaling(MX) 及 INT 等多种低精度格式在模型各层混合使用,硬件需灵活高效支持多格式。MFSA 提出一种权重固定(weight-stationary)的多格式脉动阵列,原生支持 Micro Scaling,降低多格式切换开销,兼顾精度、内存占用与吞吐。

核心要点:

  • AI 负载越来越多地混合 BF16/FP16/FP8/FP4/MX/INT 等低精度格式,对硬件灵活性提出挑战
  • MFSA 为权重固定式脉动阵列,原生支持 Micro Scaling 多格式运算
  • 在多格式混合场景下平衡精度、内存与吞吐,是下一代 AI 加速器设计的参考

3. 联合子空间稀疏注意力:高效长上下文解码

来源:arXiv (cs.CL) 链接:https://arxiv.org/abs/2610.19026 标签:稀疏注意力 · 长上下文 · KV Cache · 解码加速

稀疏注意力可降低长上下文 LLM 解码中占主导的 KV-cache 流量,但现有方法粒度较粗。本文提出联合子空间稀疏注意力,在 token 级选择上解决低维打分丢失 query-key 结构、以及分散 token 聚集开销两大问题,实现更细粒度的高效长上下文解码。

核心要点:

  • 长上下文解码瓶颈在于 KV-cache 流量,稀疏注意力可显著削减访存
  • token 级细粒度选择面临低维打分丢失结构与分散 token 聚集开销两大挑战
  • 联合子空间方法在保持注意力质量的同时降低访存,加速长上下文推理

4. 内优化器如何塑造副本扩展:跨数据中心训练规律

来源:arXiv (cs.LG) 链接:https://arxiv.org/abs/2610.19064 标签:分布式训练 · 跨数据中心 · 局部优化器 · DiLoCo

跨地理分布、弱互联算力池训练 LLM 日益受关注。本文研究以 DiLoCo 为代表的局部(inner)自适应/预处理优化器在副本扩展(replica scaling)中的作用,分析内优化器如何影响跨数据中心训练的收敛与扩展效率。

核心要点:

  • 跨数据中心、弱互联算力池训练 LLM 成为热点,DiLoCo 类局部优化器被广泛应用
  • inner 优化器(自适应/预处理)对副本扩展的收敛行为有显著影响
  • 揭示内优化器设计如何塑造分布式训练扩展规律,为跨域训练提供理论指导

5. 逆向推理模型:仅用答案数据的高效后训练与验证

来源:arXiv (cs.LG) 链接:https://arxiv.org/abs/2610.18878 标签:后训练 · 强化学习 · 推理模型 · 数据效率

推理型 LLM 后训练常面临高成本监督与算力低效的权衡:SFT 需要推理轨迹但数据低效,RL 则需大量采样。本文提出逆向推理模型,仅用「问题-答案」对(无 CoT 真值)即可高效完成后训练与验证。

核心要点:

  • 后训练推理模型常在需推理轨迹的 SFT 与高采样 RL 之间权衡
  • 逆向推理模型仅依赖 prompt-answer 元组,无需 ground-truth CoT 序列
  • 提升后训练的数据效率与可验证性,降低推理模型训练成本

6. 扩展 Inductor 接入 IBM Spyre 加速器

来源:PyTorch 链接:https://pytorch.org/blog/extending-inductor-for-the-ibm-spyre-accelerator/ 标签:torch.compile · 编译器后端 · Inductor · 硬件加速

IBM Spyre 加速器的 PyTorch 软件栈将其 torch.compile 后端从自研的 sendnn 整体迁移到开源的 Inductor 后端。文章详述如何扩展 Inductor 以接入专用 AI 加速器,降低维护独立工具链的成本与跨框架数值对齐难度。

核心要点:

  • IBM Spyre 加速器软件栈将 torch.compile 后端从 sendnn 迁移至开源 Inductor
  • 扩展 Inductor 接入专用硬件,避免维护独立编译栈
  • 降低跨框架数值不一致与工具链维护成本,是硬件接入 PyTorch 生态的范例

7. 一个 token 需要多少秩:秩一 LoRA 专家的噪声基底门限

来源:arXiv (cs.LG) 链接:https://arxiv.org/abs/2610.19033 标签:LoRA · 混合专家 · 参数高效微调 · 秩选择

LoRA 将每个秩一分量应用于所有 token,MoE 变体则用路由器激活固定数量分量。本文提出将 token 所需分量数视为检测问题(带噪声基底门限),按需抑制低于噪声基底的秩一专家,实现更自适应的参数高效微调。

核心要点:

  • LoRA 所有 token 共用全部秩一分量,MoE 变体固定激活数量,均非自适应
  • 将 token 所需分量数建模为带噪声基底的检测问题,低于门限的分量被抑制
  • 实现按 token 自适应的秩一专家激活,提升 LoRA/MoE 的利用效率

📊 今日速览

# 标题摘要 来源 方向
1 CacheSmith:RAG 服务下的延迟 SLO 与自适应 KV 复用 arXiv 推理服务/KV 缓存
2 MFSA:原生支持 Micro Scaling 的多格式脉动阵列 arXiv 硬件/低精度量化
3 联合子空间稀疏注意力:高效长上下文解码 arXiv 注意力/解码加速
4 内优化器如何塑造副本扩展(跨数据中心训练) arXiv 分布式训练
5 逆向推理模型:仅用答案数据的高效后训练 arXiv 后训练/RL
6 扩展 Inductor 接入 IBM Spyre 加速器 PyTorch 编译器后端
7 一个 token 需要多少秩:秩一 LoRA 专家噪声门限 arXiv 参数高效微调

自动生成 · 2026-10-16 · jeffinchen daily tech reading list

评论