← Reading List
📰 技术速递

大模型推理加速与系统优化前沿

Tech多源前沿

📰 2026-09-30 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM 推理加速、MoE 架构、存内计算编译、移动端 KV 复用与 OS 内核安全。


1. SpecStream:面向长上下文 LLM 服务的高资源利用率投机解码

来源:arXiv cs.AR 链接:http://arxiv.org/abs/2609.33184v1 标签:投机解码 · KV Cache · 长上下文推理 · GPU 显存 · 并行验证

投机解码通过并行验证 Draft 模型生成的多个 token 来减少 Target 模型的串行调用,但 KV Cache 增长在受限 GPU 显存下限制了长上下文服务。现有卸载方案在注意力计算前需恢复完整 KV 历史,且未能利用验证轮内多查询间的 KV 共享。SpecStream 提出在完整 KV 历史恢复前即开始验证,并利用 KV 传输间隙的算力气泡在同一 GPU 上并发执行 drafting;仅卸载 Target 已提交的 KV 历史,使候选回滚保留在 GPU 本地,每个流式 KV 块服务整个验证轮的所有查询。实验表明其在有限显存下支持更多并发请求,在 Qwen3 与 InternLM2.5 上相较卸载基线分别获得 1.41x 与 1.32x 吞吐加速,每 GPU 输出吞吐较独立 Target/Draft GPU 方案平均提升 55.4%。

核心要点:

  • 流式 KV 验证:无需等待完整 KV 历史恢复即可启动验证,重叠传输与计算。
  • 显存高效:仅卸载 Target 已提交的历史,候选回滚留在 GPU 本地,释放显存压力。
  • Target 优先调度约束 Draft 并发,在有限资源下控制对验证的干扰。

2. Foil:如何循环 MoE——展平专家、解耦注意力

来源:arXiv cs.CL 链接:http://arxiv.org/abs/2609.35751v1 标签:MoE · 循环 Transformer · 专家路由 · 参数利用率 · 预训练

循环 Transformer 通过多次复用同一层块将固定规模模型的参数潜力推向更远,而稀疏 MoE 仅对每个 token 激活少量专家。二者结合(Looped MoE)可提升专家利用率,但如何循环 MoE 仍是开放问题。Foil 给出答案:在专家参数与每 token 专家算力固定的前提下,(1) 展平专家——专家层减半、每层专家数翻倍、循环次数翻倍,使每次路由决策从更大专家池中选择;(2) 解耦注意力——每次循环拥有独立注意力参数,而专家与路由器保持共享。实验显示 Foil 在 20B token 时损失更低,100B token 时随展平程度单调下降,最展平版本在同等参数算力下较基线低 0.012 nat,下游精度持平或更优,且路由更均衡、更可信。

核心要点:

  • 展平专家层(减半层数、翻倍专家数)扩大路由选择池,提升专家利用率。
  • 解耦注意力:每轮独立注意力参数,专家与路由器跨轮共享。
  • 循环与加宽专家层收益相互放大;稀疏 Looped MoE 应使用每层更多专家与更多循环。

3. 动态流、静态图:面向移动 NPU 的高效 KV Cache 复用

来源:arXiv cs.OS 链接:http://arxiv.org/abs/2609.34727v1 标签:端侧推理 · KV Cache · 移动 NPU · 静态编译 · 算力-存储协同设计

端侧 LLM 服务提供数据主权与隐私保障,但现有 KV 缓存设计面向云 GPU 的动态执行与充裕带宽,无法匹配移动 NPU 的静态编译图与受限内存/IO 带宽。本文提出面向移动的前缀与非前缀 KV 复用算力-存储协同设计:图内机制将选择性 KV 重计算映射到静态 NPU 图,调和算法动态性与 NPU 静态性;图间调度器以动态规划优化分块合并与填充最小化;层次化 KV 管理器采用树-哈希-语义混合结构,配合代价感知预取与淘汰策略;二维流水线重叠 KV 加载、重旋转与存储与 NPU 执行。实验显示相较无复用与仅前缀缓存,TTFT 降低 40–60%。

核心要点:

  • 图内 KV 重计算映射到静态 NPU 图,弥合算法动态性与硬件静态性。
  • 层次化 KV 管理器 + 代价感知预取/淘汰,缓解移动带宽瓶颈。
  • 二维流水线隐藏数据搬运延迟,端侧 TTFT 降低 40–60%。

4. Torch-PIM:面向 PyTorch 的自动化 Profile-Guided PIM 卸载

来源:arXiv cs.AR 链接:http://arxiv.org/abs/2609.34657v1 标签:存内计算 PIM · 编译器 · Profile-Guided · MLIR · 算子卸载

深度学习负载受限于数据搬运,存内计算(PIM)通过在内存附近放置计算单元来突破该瓶颈。但 PyTorch 等框架缺乏对 host 与 PIM 放置决策的编译器支持。Torch-PIM 提出基于 Profile-Guided Optimization 的编译器框架,在渐进式 lowering 产生的循环嵌套上决策 host 与 PIM 的放置:每个并行循环嵌套进入候选空间,从「携带工作量」与「内存受限度」两阶段评估,所有量化指标均在 host 上剖析或取自 MLIR 多级中间表示。在 32–128 核的 PIM 配置下,张量算子最高加速 8.6x、MLP 2.9x、Attention 4.4x、GPT-J-6B 5.1x、LLaMA-7B 3.6x(相对纯 CPU 执行)。

核心要点:

  • 将 host/PIM 放置决策下沉到编译器,覆盖渐进 lowering 的并行循环嵌套。
  • 两阶段评估(工作量 + 内存受限度),指标来自 profiling 与 MLIR。
  • 在多种 PIM 核数下对 GPT-J-6B/LLaMA-7B 取得 3.6–5.1x 加速。

5. KREX:基于区域级独占性的共享 GPU 并发内核基准评测

来源:arXiv cs.OS 链接:http://arxiv.org/abs/2609.30057v1 标签:GPU 内核 · 并发基准 · 区域级独占 · NVIDIA/AMD · Agent 评测

LLM Agent 通过反复组合候选并在真实 GPU 上测量耗时来自动化内核优化。现有系统为保证测量保真度而独占整张 GPU,导致利用率低下。KREX 提出区域级独占性的并发内核评测运行时:Agent 标记计时敏感的关键区域,运行时在区域内强制独占、区域外允许并发,兼顾吞吐与保真。区域内通过阻断竞争提交、排空在途任务、冻结兄弟进程并隔离 CPU 核来保护测量;区域外复用持久化上下文避免重复序列化创建。在 NVIDIA 与 AMD GPU 上评测,相较命令级独占基线提供最高 3.4x 评测吞吐,长内核 p95 计时膨胀可忽略(0.30%–3.90%)。

核心要点:

  • 区域级独占:仅在计时敏感关键区独占 GPU,区外并发最大化利用率。
  • 区域内阻断竞争提交+排空在途+冻结兄弟进程+隔离 CPU 核,保证测量保真。
  • 持久化 GPU 上下文复用避免重复创建,评测吞吐最高提升 3.4x。

6. MS-GLA:多尺度门控线性注意力化解表征瓶颈

来源:arXiv cs.CL 链接:http://arxiv.org/abs/2609.35664v1 标签:线性注意力 · GLA · 多尺度 · 长上下文 · 状态空间模型

门控线性注意力(GLA)通过数据依赖门控推进线性循环模型,但所有头的固定容量记忆矩阵只在单一时间分辨率运作,被迫同时编码局部句法与长程语义,形成表征瓶颈。MS-GLA 将注意力头分布到多个时间分辨率:粗分辨率池化更长 token 跨度以专精长程依赖,细粒度头组保留局部句法敏感性;可学习的输入依赖融合层在每个时间步动态重组各组输出,扩展有效记忆容量而不增大每头状态。借鉴多尺度状态空间模型(MS-SSM)思想,MS-GLA 在语言建模、召回密集任务与长上下文泛化上一致优于 GLA,召回任务最高提升 18.9%,困惑度平均降低 9.5%。

核心要点:

  • 多头跨多时间分辨率分配,粗分辨率专精长程、细分辨率保留局部句法。
  • 输入依赖融合层动态重组头组输出,不增大每头状态即扩展有效记忆。
  • 语言建模困惑度降 9.5%、召回任务升 18.9%,优于同参数量 GLA。

7. 基于 CHERI 的高效链接式进程内隔离

来源:arXiv cs.OS 链接:http://arxiv.org/abs/2609.36731v1 标签:CHERI · 内存安全 · 进程内隔离 · 编译工具链 · RISC-V

本文提出基于 CHERI 内存安全的链接式进程内隔离模型,可对整 UNIX 用户态做细粒度隔离,在桌面系统扩展至 10K+ 隔离域。其「一键式」沿现有库边界隔离,对 Chromium 等大型应用每进程常驻 500+ 隔离域,远超 Intel MPK 等机制(最多 16 个)的并发保护域上限。数千个 C/C++ 程序中仅 V8 引擎需源码级适配(<300 行,涉及 GC 与 JIT)。实现覆盖 CHERI 扩展的 Armv8-A 与 RISC-V,经编译器工具链与 OS 支持,并在 Arm Morello 与首款商用 CHERI RISC-V 核 Codasip X730 上验证,展示了隔离域间内存平滑委托、隔离感知调试与可扩展性。

核心要点:

  • 链接式进程内隔离,沿库边界一键隔离,单进程可常驻 500+ 隔离域。
  • 远超 Intel MPK 的 16 域上限,桌面系统可扩展至 10K+ 隔离域。
  • 覆盖 Arm Morello 与首款商用 CHERI RISC-V 核 Codasip X730。

📊 今日速览

# 标题摘要 来源 方向
1 SpecStream arXiv cs.AR 体系结构/加速
2 Foil arXiv cs.CL 模型架构
3 动态流、静态图 arXiv cs.OS 系统/OS
4 Torch-PIM arXiv cs.AR 体系结构/加速
5 KREX arXiv cs.OS 系统/OS
6 MS-GLA arXiv cs.CL 模型架构
7 基于 CHERI 的高效链接式进程内 arXiv cs.OS 系统/OS

自动生成 · 2026-09-30 · jeffinchen daily tech reading list

评论