← Reading List
📰 技术速递

GPU/加速器调度、LLM 推理加速与优化器新进展

Tech多源前沿

📰 2026-08-22 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 GPU/加速器调度、LLM 推理加速、注意力机制、优化器与流式 ML 重训练。


1. HyperCut:基于有向超图与早期过滤的快速层间调度

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.19296 标签:层间调度 · 加速器 · 超图 · 资源分配 · 能效

随着深度神经网络规模持续扩大,层间调度(在层间编排计算资源的空间分配与时间执行顺序)已成为决定 tiled 加速器利用率与能效的关键。现有调度器在搜索空间爆炸与精度之间难以兼顾。HyperCut 将有向超图建模与早期过滤结合,在调度展开前剪除大量无效或低优分支,显著加速层间调度搜索,同时保持接近最优的映射质量。

核心要点:

  • 用有向超图统一刻画层间计算与通信依赖,精确表达 tiled 加速器的空间-时间映射约束
  • 提出早期过滤机制,在搜索初期剔除不可行/低优路径,降低组合爆炸
  • 在多种 DNN 负载上以更低开销逼近最优利用率,提升整体能效比

2. HYDRA:面向动态混合 LLM 负载的异构 Chiplet 设计空间探索框架

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.19395 标签:Chiplet · LLM 推理 · Transformer-Mamba · 异构加速 · DSE

混合 Transformer-Mamba 大模型在长上下文场景更高效,但其异构计算与通信模式给硬件加速带来复杂性。Chiplet 架构通过集成专用计算与存储单元提供可扩展方案,但设计空间巨大。HYDRA 提出面向动态混合 LLM 负载的异构 Chiplet 设计空间探索框架,在吞吐、时延与成本间自动权衡,产出适配混合负载的 chiplet 拓扑。

核心要点:

  • 针对 Transformer 与 Mamba 块的不同计算/通信特征分别建模
  • 构建可扩展的 chiplet 设计空间并定义多目标优化准则
  • 面向动态混合负载给出 Pareto 最优的芯片拓扑与互连配置

3. 线程-寄存器解耦的 GPU 执行模型:高效张量计算编排

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.19628 标签:GPU · Tensor Core · 执行模型 · 寄存器 · 算子供给

现代 GPU 将 Tensor Core 深度集成进执行流水线,聚合张量吞吐持续增长——从 Ampere 的寄存器供给、到 Hopper/Blackwell 的免冗余内存供给。然而如何高效编排完整张量计算流水线仍具挑战。本文提出线程-寄存器解耦的 GPU 执行模型,重新组织操作数供给与计算发射,缓解流水线气泡,提升张量计算的端到端效率。

核心要点:

  • 剖析 Ampere→Hopper→Blackwell 张量操作数供给的演进与瓶颈
  • 提出线程与寄存器解耦的执行模型,解耦发射与数据就绪
  • 在真实张量算子上减少流水线停顿,提升 Tensor Core 利用率

4. 非对称注意力头:Transformer 注意力的结构化逐头上下文分配

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2608.19203 标签:Transformer · 注意力机制 · 多头注意力 · 上下文分配 · 长程依赖

标准多头注意力(MHA)给每个头分配相同的完整因果上下文跨度,但不同头承担不同上下文角色:有的依赖邻近词法/句法上下文,有的依赖实体交互、话语链接等更长程关系。本文提出非对称注意力头,按头的结构化角色分配不同上下文范围,在保持表达力的同时降低无关上下文带来的噪声与计算浪费。

核心要点:

  • 揭示 MHA 中不同头对上下文长度的异质需求
  • 提出逐头结构化上下文分配机制,按角色裁剪因果跨度
  • 在多项语言任务上以更低上下文开销获得可比或更优表现

5. LFM2.5-DSpark:推理提速最高 3.2 倍

来源:Hugging Face Blog 链接:https://huggingface.co/blog/LiquidAI/lfm25-dspark 标签:推理加速 · LLM · 蒸馏 · 稀疏 · LiquidAI

LiquidAI 发布 LFM2.5-DSpark,通过模型结构与推理引擎层面的协同优化,实现最高 3.2 倍的推理加速。文章介绍了该模型在延迟、吞吐与质量之间的工程权衡,展示了在保持生成质量前提下的端到端加速路径,可作为边缘与服务器端低延迟部署的参考实践。

核心要点:

  • 模型侧与推理引擎侧协同优化带来端到端加速
  • 在保持生成质量的前提下实现最高 3.2x 推理提速
  • 提供面向低延迟部署的实用工程权衡参考

6. 何时重训练:概念漂移、预算与时延约束下的流式 ML 重训练策略实证研究

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.19488 标签:概念漂移 · 重训练策略 · 流式学习 · 时延 · MLOps

生产环境机器学习系统在概念漂移下降级,但从业者缺乏关于“何时重训练”的原则性指导。重训练成本高、预算有限,且重训练模型不会立即生效——训练与部署时延会让陈旧模型在服务。本文通过实证比较不同重训练策略在漂移、预算与时延约束下的权衡,给出可落地的触发准则。

核心要点:

  • 形式化重训练的隐性成本:预算约束 + 训练/部署时延窗口
  • 在多种漂移场景下系统比较触发式与周期性重训练策略
  • 给出兼顾成本与时效的可操作重训练触发建议

7. DeltaMomentum:基于 Delta 规则的各向异性键值动量更新

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.19491 标签:优化器 · 动量 · 各向异性 · Delta 规则 · 深度学习

多数现代优化器将动量构建为过去梯度的指数移动平均(EMA),以固定速率遗忘每个方向。但深度网络训练输入高度各向异性:少数方向被频繁查询,多数方向很少出现。本文提出 DeltaMomentum,基于 Delta 规则以键值方式对各方向施加各向异性动量更新,缓解固定遗忘率带来的偏差,提升训练动态质量。

核心要点:

  • 指出现有 EMA 动量以单一速率遗忘所有方向的不适配问题
  • 引入键值结构的 Delta 规则实现逐方向各向异性动量
  • 在多项任务上改善收敛与训练稳定性

📊 今日速览

# 标题摘要 来源 方向
1 HyperCut:基于有向超图与早期过滤的快速层间调度 arXiv cs.AR 层间调度
2 HYDRA:面向动态混合 LLM 负载的异构 Chiplet 设计空间探索框架 arXiv cs.AR Chiplet
3 线程-寄存器解耦的 GPU 执行模型:高效张量计算编排 arXiv cs.AR GPU
4 非对称注意力头:Transformer 注意力的结构化逐头上下文分配 arXiv cs.CL Transformer
5 LFM2.5-DSpark:推理提速最高 3.2 倍 Hugging Face Blog 推理加速
6 何时重训练:概念漂移、预算与时延约束下的流式 ML 重训练策略实证研究 arXiv cs.LG 概念漂移
7 DeltaMomentum:基于 Delta 规则的各向异性键值动量更新 arXiv cs.LG 优化器

自动生成 · 2026-08-22 · jeffinchen daily tech reading list

评论