📰 2026-08-19 · 每日技术速递
今日精选 6 篇深度技术文章,覆盖 GPU 微架构访存、LLM 服务多级调度、KV Cache 压缩、智能体负载刻画与多租户算子调度。
1. NVIDIA H100 普通全局访存的并发响应特性
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.15764 标签:GPU内核 · CUDA · 内存带宽 · Hopper · Little定律
内存受限型 GPU kernel 能维持的带宽,取决于它在途字节数。本文用 Little 定律做吞吐量核算(而非测量硬件池),刻画 CUDA 在 Hopper 上通过普通加载(ld.global)与异步拷贝(cp.async)等路径填充带宽预算时的并发响应,给出清晰的微基准结论。
核心要点:
- 以 Little 定律将并发字节数建模为吞吐量核算工具,而非直接测硬件
- 系统刻画 Hopper 上 ld.global 与 cp.async 两类访存路径的并发响应曲线
- 为内存受限 kernel 的带宽利用率优化提供可量化的微基准指导
2. 超越二元优先级:面向大模型服务多级 SLA 的调度
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.16336 标签:LLM服务 · SLA调度 · 多实例 · 负载均衡 · 推理
现代 LLM 服务需同时满足从延迟敏感的 API 调用到后台批处理等异构 SLO。Llumnix 曾提出可迁移的多实例动态调度器做负载均衡与碎片整理,本文进一步突破二元优先级,提出面向多级用户分层的 SLA 调度方案。
核心要点:
- 将 LLM 服务调度从二元优先级扩展到多级用户分层 SLO
- 在延迟敏感 API 与后台批处理之间做动态资源再分配
- 继承并扩展 Llumnix 的可迁移多实例调度思路,缓解碎片问题
3. DumpsterCluster:用退役 GPU 集群服务 LLaMA-70B
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.14614 标签:二手GPU · 分布式推理 · 经济性 · LLaMA-70B · 可持续
随着 AI 数据中心退役大量仍可用的 GPU,这些加速器进入二级市场。本文研究这些退役 GPU 能否组成 DumpsterCluster 来服务现代 LLM 推理,以及在何种条件下这种再利用具备经济可行性与环境可持续性。
核心要点:
- 探讨退役/二手 GPU 组成集群服务 LLaMA-70B 的可行性
- 分析再利用率的经济性与碳足迹收益边界条件
- 为低成本、可持续的 LLM 推理部署提供实证框架
4. HieraSparse:层级化半结构化稀疏 KV 注意力
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2604.16864 标签:KV Cache · 长上下文 · 稀疏注意力 · 推理加速 · 压缩
长上下文 LLM 部署受自注意力计算开销与 KV Cache 内存占用双重挑战。HieraSparse 提出层级化 KV Cache 压缩框架,并配套加速 kernel,在保持质量的同时降低注意力成本与显存压力。
核心要点:
- 层级化 KV Cache 压缩,兼顾长上下文下的显存与计算开销
- 提供配套加速 kernel,将稀疏结构落到实际推理收益
- 面向长上下文 LLM 部署的实用性压缩方案
5. 从 LLM 推理到智能体负载:面向服务系统的刻画与启示
来源:arXiv cs.OS 链接:https://arxiv.org/abs/2608.15127 标签:智能体负载 · 服务系统 · 长时任务 · 瓶颈分析 · 评测
智能体应用正把 AI 服务从孤立模型推理推向长时运行负载:LLM 协调工具、环境与持久状态。但此类负载的系统行为(延迟、成本、瓶颈来源)仍缺乏刻画,现有服务系统仍建立在为短推理做的假设上。本文对智能体负载做系统刻画并给出服务系统设计启示。
核心要点:
- 识别智能体负载与短推理在延迟/成本/瓶颈上的结构性差异
- 揭示现有服务系统沿用短推理假设带来的错配风险
- 为面向工具调用与持久状态的长时服务系统给出设计方向
6. 全局仿真引导的动态算子调度:高效多租户模型服务
来源:arXiv cs.OS 链接:https://arxiv.org/abs/2608.15762 标签:算子调度 · 多租户 · 容器调度 · SLA · 资源利用率
容器粒度调度在容器内留下大量短生命周期空闲切片难以利用;重分配容器过于笨重。算子级调度需实时推理依赖、内存安全与集群级执行动态。本文提出全局仿真引导的动态算子调度,在 SLA 约束下利用细粒度空闲机会。
核心要点:
- 用全局仿真刻画集群级执行动态,指导细粒度算子调度
- 在容器内部空闲切片上做轻量再分配,避免容器重调度开销
- 在 SLA 约束下提升多租户模型服务的资源利用率
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | NVIDIA H100 普通全局访存的并发响应特性 | arXiv cs.AR | GPU内核 |
| 2 | 超越二元优先级:面向大模型服务多级 SLA 的调度 | arXiv cs.AR | LLM服务 |
| 3 | DumpsterCluster:用退役 GPU 集群服务 LLaMA-70B | arXiv cs.AR | 二手GPU |
| 4 | HieraSparse:层级化半结构化稀疏 KV 注意力 | arXiv cs.AR | KV Cache |
| 5 | 从 LLM 推理到智能体负载:面向服务系统的刻画与启示 | arXiv cs.OS | 智能体负载 |
| 6 | 全局仿真引导的动态算子调度:高效多租户模型服务 | arXiv cs.OS | 算子调度 |
自动生成 · 2026-08-19 · jeffinchen daily tech reading list
评论