← Reading List
📰 技术速递

H100 访存并发 · 多级SLA调度 · 退役GPU集群 · 稀疏KV · 智能体负载刻画

Tech多源前沿

📰 2026-08-19 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 GPU 微架构访存、LLM 服务多级调度、KV Cache 压缩、智能体负载刻画与多租户算子调度。


1. NVIDIA H100 普通全局访存的并发响应特性

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.15764 标签:GPU内核 · CUDA · 内存带宽 · Hopper · Little定律

内存受限型 GPU kernel 能维持的带宽,取决于它在途字节数。本文用 Little 定律做吞吐量核算(而非测量硬件池),刻画 CUDA 在 Hopper 上通过普通加载(ld.global)与异步拷贝(cp.async)等路径填充带宽预算时的并发响应,给出清晰的微基准结论。

核心要点:

  • 以 Little 定律将并发字节数建模为吞吐量核算工具,而非直接测硬件
  • 系统刻画 Hopper 上 ld.global 与 cp.async 两类访存路径的并发响应曲线
  • 为内存受限 kernel 的带宽利用率优化提供可量化的微基准指导

2. 超越二元优先级:面向大模型服务多级 SLA 的调度

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.16336 标签:LLM服务 · SLA调度 · 多实例 · 负载均衡 · 推理

现代 LLM 服务需同时满足从延迟敏感的 API 调用到后台批处理等异构 SLO。Llumnix 曾提出可迁移的多实例动态调度器做负载均衡与碎片整理,本文进一步突破二元优先级,提出面向多级用户分层的 SLA 调度方案。

核心要点:

  • 将 LLM 服务调度从二元优先级扩展到多级用户分层 SLO
  • 在延迟敏感 API 与后台批处理之间做动态资源再分配
  • 继承并扩展 Llumnix 的可迁移多实例调度思路,缓解碎片问题

3. DumpsterCluster:用退役 GPU 集群服务 LLaMA-70B

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.14614 标签:二手GPU · 分布式推理 · 经济性 · LLaMA-70B · 可持续

随着 AI 数据中心退役大量仍可用的 GPU,这些加速器进入二级市场。本文研究这些退役 GPU 能否组成 DumpsterCluster 来服务现代 LLM 推理,以及在何种条件下这种再利用具备经济可行性与环境可持续性。

核心要点:

  • 探讨退役/二手 GPU 组成集群服务 LLaMA-70B 的可行性
  • 分析再利用率的经济性与碳足迹收益边界条件
  • 为低成本、可持续的 LLM 推理部署提供实证框架

4. HieraSparse:层级化半结构化稀疏 KV 注意力

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2604.16864 标签:KV Cache · 长上下文 · 稀疏注意力 · 推理加速 · 压缩

长上下文 LLM 部署受自注意力计算开销与 KV Cache 内存占用双重挑战。HieraSparse 提出层级化 KV Cache 压缩框架,并配套加速 kernel,在保持质量的同时降低注意力成本与显存压力。

核心要点:

  • 层级化 KV Cache 压缩,兼顾长上下文下的显存与计算开销
  • 提供配套加速 kernel,将稀疏结构落到实际推理收益
  • 面向长上下文 LLM 部署的实用性压缩方案

5. 从 LLM 推理到智能体负载:面向服务系统的刻画与启示

来源:arXiv cs.OS 链接:https://arxiv.org/abs/2608.15127 标签:智能体负载 · 服务系统 · 长时任务 · 瓶颈分析 · 评测

智能体应用正把 AI 服务从孤立模型推理推向长时运行负载:LLM 协调工具、环境与持久状态。但此类负载的系统行为(延迟、成本、瓶颈来源)仍缺乏刻画,现有服务系统仍建立在为短推理做的假设上。本文对智能体负载做系统刻画并给出服务系统设计启示。

核心要点:

  • 识别智能体负载与短推理在延迟/成本/瓶颈上的结构性差异
  • 揭示现有服务系统沿用短推理假设带来的错配风险
  • 为面向工具调用与持久状态的长时服务系统给出设计方向

6. 全局仿真引导的动态算子调度:高效多租户模型服务

来源:arXiv cs.OS 链接:https://arxiv.org/abs/2608.15762 标签:算子调度 · 多租户 · 容器调度 · SLA · 资源利用率

容器粒度调度在容器内留下大量短生命周期空闲切片难以利用;重分配容器过于笨重。算子级调度需实时推理依赖、内存安全与集群级执行动态。本文提出全局仿真引导的动态算子调度,在 SLA 约束下利用细粒度空闲机会。

核心要点:

  • 用全局仿真刻画集群级执行动态,指导细粒度算子调度
  • 在容器内部空闲切片上做轻量再分配,避免容器重调度开销
  • 在 SLA 约束下提升多租户模型服务的资源利用率

📊 今日速览

# 标题摘要 来源 方向
1 NVIDIA H100 普通全局访存的并发响应特性 arXiv cs.AR GPU内核
2 超越二元优先级:面向大模型服务多级 SLA 的调度 arXiv cs.AR LLM服务
3 DumpsterCluster:用退役 GPU 集群服务 LLaMA-70B arXiv cs.AR 二手GPU
4 HieraSparse:层级化半结构化稀疏 KV 注意力 arXiv cs.AR KV Cache
5 从 LLM 推理到智能体负载:面向服务系统的刻画与启示 arXiv cs.OS 智能体负载
6 全局仿真引导的动态算子调度:高效多租户模型服务 arXiv cs.OS 算子调度

自动生成 · 2026-08-19 · jeffinchen daily tech reading list

评论