← Reading List
📰 技术速递

GPU 显存、推理服务与内核调度:大模型基础设施前沿

Tech多源前沿

📰 2026-09-21 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 GPU 显存管理、MoE 卸载、长上下文推理加速、KV 缓存调度与 OS 内核级优化。


1. 按需注意力:语言模型知道何时该「回忆」

来源:arXiv.cs.CL 链接:http://arxiv.org/abs/2609.20734v1 标签:长上下文推理 · 注意力机制 · KV缓存 · 推理加速

推理与智能体负载对高效长上下文推理需求日益增长,但全注意力解码在每一步都会读取不断增长的上下文历史,无论其对下一步预测是否有益。本文发现,预训练模型的解码状态在全局读取之前就已经蕴含了预测该收益的信息,并据此提出按需注意力(ODA)机制,让模型自主决定何时读取历史,从而大幅削减无效注意力计算。

核心要点:

  • 揭示全注意力解码在长上下文下存在大量无效历史读取
  • 预训练模型解码状态已包含「是否需要全局注意力」的可预测信号
  • 提出按需注意力(ODA),按模型自身判断动态触发全局读取
  • 在长上下文推理场景显著降低计算量与显存开销

2. 别猜了,去问工具:Agent 调用应保留进度,推理系统应主动读取

来源:arXiv.cs.OS 链接:http://arxiv.org/abs/2609.18849v1 标签:推理服务 · KV缓存管理 · Agent系统 · GPU显存

智能体请求在等待工具时耗费大量墙钟时间,而 KV 缓存在此期间一直占用 GPU 显存。现有服务系统靠猜测工具运行时长来决定缓存去留,但本文证明任何调用前固定的估计都无法预知真实运行时间。作者提出让服务系统直接读取工具调用暴露的进度状态,以做出更优的缓存保留/换出决策。

核心要点:

  • 工具等待期间 KV 缓存持续占用显存,造成资源浪费
  • 调用前固定估计无法准确预测工具的真实运行时长
  • 服务系统应主动读取 agent 工具调用持有的进度信号
  • 基于真实进度决策缓存去留,提升显存利用率与整体吞吐

3. SeqMoE:通过预测式与图兼容的 MoE 卸载逼近满载性能

来源:arXiv.cs.OS 链接:http://arxiv.org/abs/2609.12978v1 标签:MoE · 显存卸载 · 分布式推理 · 专家并行

混合专家(MoE)模型在卸载上具有结构性优势——只需少量激活专家驻留设备显存,若能在计算前及时加载,理论上可逼近权重全驻留的满载性能。本文提出 SeqMoE,通过预测式调度与图兼容的卸载方案,将这一结构优势转化为实际收益。

核心要点:

  • MoE 仅激活少量专家,天然适合显存卸载
  • 及时预取专家权重可逼近全驻留(full-load)性能
  • 提出预测式调度 + 图兼容卸载框架 SeqMoE
  • 在有限设备显存下实现近满载的 MoE 推理吞吐

4. 隐蔽却主导:云 OLTP 数据库中内核 I/O 机制的巨大停顿

来源:arXiv.cs.OS 链接:http://arxiv.org/abs/2609.12597v1 标签:Linux内核 · 缓冲I/O · 数据库 · 云块存储

包括 PostgreSQL、RocksDB 及新兴 AI KV-cache 中间件在内的多数数据库依赖缓冲 I/O,将写回交给 Linux 内核。在云分布式块存储标准下,这一委派继承了一个隐藏瓶颈:每个设备由单个内核 flusher 线程经高延迟、浅队列路径排空。当排空落后时,脏页节流会暂停前台写入,引发显著尾延迟。

核心要点:

  • 缓冲 I/O 写回在云块存储下存在单 flusher 线程瓶颈
  • 高延迟浅队列路径导致脏页节流与前台写停顿
  • 影响 PostgreSQL、RocksDB 及 AI KV-cache 等系统尾延迟
  • 揭示云数据库隐蔽却主导性的 I/O 停顿来源

5. AKTS:面向语言模型智能体的亚微秒级内核策略切换

来源:arXiv.cs.OS 链接:http://arxiv.org/abs/2609.12276v1 标签:OS调度 · 内核策略 · 智能体系统 · TTFT

GPU 支撑的 LLM 服务器常在同一 CPU 上复用交互式请求与后台批处理任务。请求突发时需要保护首 token 时延(TTFT),突发间隙则应让后台任务推进。固定内核策略无法兼顾两者,AKTS 提出亚微秒级内核策略切换机制,随负载动态切换调度行为。

核心要点:

  • LLM 服务器需同时保障交互请求 TTFT 与后台吞吐
  • 固定内核调度策略在两类目标间顾此失彼
  • AKTS 实现亚微秒级内核策略在线切换
  • 随负载动态调度,兼顾时延与资源利用率

6. PELM:结合投机解码与动态调频的端侧低功耗 LLM 推理

来源:arXiv.cs.OS 链接:http://arxiv.org/abs/2609.09662v1 标签:端侧推理 · 投机解码 · DVFS · 功耗优化

在移动/边缘平台直接部署 LLM 因隐私、个性化与低延迟等优势日益流行,但其巨大算力需求与功耗约束难以满足。PELM 结合投机解码与动态电压频率调节(DVFS),在保证质量的同时显著降低端侧 LLM 推理的能耗。

核心要点:

  • 端侧 LLM 部署受算力与功耗双重约束
  • 投机解码减少端侧解码步数
  • 动态电压频率调节(DVFS)按负载动态调频调压
  • 联合优化在移动平台实现高能效 LLM 推理

7. AutoUVM:UVM 超额订阅下 LLM 的自动化预取框架

来源:arXiv.cs.OS 链接:http://arxiv.org/abs/2609.06172v1 标签:GPU显存 · UVM · 页错误迁移 · 预取

LLM 规模日益超出商用 GPU 显存容量,显存超额订阅(oversubscription)成为常态。NVIDIA 统一虚拟内存(UVM)提供对主机内存的透明访问,但其页错误驱动的迁移带来严重性能开销。AutoUVM 自动利用 UVM 暴露的预取与放置提示原语,缓解迁移成本。

核心要点:

  • 大模型普遍超出单卡显存,UVM 超额订阅成常态
  • UVM 页错误驱动迁移带来显著性能开销
  • AutoUVM 自动化预取与放置提示以减少迁移
  • 在有限显存下更高效地运行大模型推理

📊 今日速览

# 标题摘要 来源 方向
1 按需注意力:语言模型知道何时该「回忆」 arXiv.cs.CL 长上下文推理
2 别猜了,去问工具:Agent 调用应保留进度,推理系统应主动读取 arXiv.cs.OS 推理服务
3 SeqMoE:通过预测式与图兼容的 MoE 卸载逼近满载性能 arXiv.cs.OS MoE卸载
4 隐蔽却主导:云 OLTP 数据库中内核 I/O 机制的巨大停顿 arXiv.cs.OS 内核I/O
5 AKTS:面向语言模型智能体的亚微秒级内核策略切换 arXiv.cs.OS 内核调度
6 PELM:结合投机解码与动态调频的端侧低功耗 LLM 推理 arXiv.cs.OS 端侧推理
7 AutoUVM:UVM 超额订阅下 LLM 的自动化预取框架 arXiv.cs.OS GPU显存

自动生成 · 2026-09-21 · jeffinchen daily tech reading list

评论