← Reading List
📰 技术速递

GPU架构评测、注意力服务与上下文压缩、投机解码与扩散训练加速

Tech多源前沿

📰 2026-11-03 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 GPU 架构评测、注意力服务与 KV-Cache 压缩、投机解码加速、扩散训练加速、以及操作系统功耗调度。


1. NVIDIA B200 与 B300 功耗级基准评测:为不同负载匹配 Blackwell GPU

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2610.41919 标签:GPU基准 · Blackwell · B200 · B300 · HPC

作者在两套独立八卡集群上对 NVIDIA B200 与 B300(Blackwell Ultra)进行了细粒度功耗拆解基准测试,覆盖计算机视觉推理/训练、基于 Llama-3 8B/70B 的 LLM 推理以及六款生产级 HPC 代码。结果显示 B300 并非 B200 的均匀升级:在卷积推理上落后至多 5.6×、在部分科学计算上落后 8×,而在大模型训练与高带宽显存敏感型负载上才体现优势,揭示了选型时按负载画像匹配芯片的重要性。

核心要点:

  • 首次对 B200/B300 做功耗分解级(power-resolved)横向基准,而非只看吞吐
  • B300 在卷积推理、部分 HPC 代码上反而显著慢于 B200(最高 8×)
  • 为 Blackwell 机型的采购与负载调度提供实测依据

2. AMMA:面向百万级上下文低延迟注意力服务的多芯粒存算一体架构

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2604.26103 标签:注意力服务 · 存算一体 · Chiplet · KV-Cache · 低延迟

现有 LLM 服务系统(包括 NVIDIA Rubin 的 GPU-LPU 异构方案)均以 GPU 为中心,但其计算密集架构与注意力所需的内存带宽/容量并不匹配。AMMA 提出以内存为中心、多芯粒(multi-chiplet)互联的注意力专用架构,将 KV-Cache 与注意力计算下沉到近内存单元,目标是在 1M 上下文下提供低延迟注意力服务,缓解 GPU 中心范式的内存墙瓶颈。

核心要点:

  • 指出 GPU 中心架构与注意力内存密集型特征的结构性错配
  • 多芯粒近内存设计把注意力计算从 GPU 卸载到存储侧
  • 面向 1M 长上下文推理的低延迟服务,降低显存与互联压力

3. 投机草稿模型与连续扩散语言模型的生成鸿沟

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2610.40847 标签:投机解码 · 扩散语言模型 · 推理加速 · 生成质量

连续扩散语言模型(CDLM)与投机草稿模型(speculative drafter)都能加速生成,但评测口径长期割裂:前者靠迭代细化独立生成,后者靠草稿提议交由目标模型校验纠错。本文在不带验证的条件下直接对比两者架构(基于 LangFlow 等框架),量化了二者的’生成鸿沟’,为统一加速生成评测与融合两类方法奠定基础。

核心要点:

  • 统一对比 CDLM 与投机草稿两类加速生成范式
  • 揭示’无校验’设定下二者的质量与效率差异(生成鸿沟)
  • 为混合/统一加速生成方案提供评测框架

4. TraceSpec:面向 LLM Agent 的投机解码理解与改进框架

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2610.41177 标签:投机解码 · LLM Agent · 轨迹评估 · 自适应草稿

LLM Agent 通过推理、动作与工具反馈的多轮模型调用完成任务,而现有的聚合式投机解码指标把这些异质决策混为一谈,无法定位草稿监督该加强何处。TraceSpec 把轨迹级(trajectory)评估与自适应草稿训练打通,沿 Agent 执行轨迹定位高价值草稿监督点,从而针对性提升 Agent 场景下的投机解码接受率与加速比。

核心要点:

  • 指出聚合指标掩盖了 Agent 多轮决策对草稿的不同需求
  • 轨迹级评估定位需要加强草稿监督的具体环节
  • 自适应草稿训练提升 Agent 推理的投机解码收益

5. 基于核插值法的注意力机制上下文压缩

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2610.40943 标签:KV-Cache · 上下文压缩 · 核方法 · 注意力 · 长上下文

注意力机制随上下文长度呈二次复杂度增长,KV-Cache 压缩成为长上下文推理的关键瓶颈。本文从核插值(kernel-based interpolatory methods)视角重新形式化上下文压缩问题,将注意力上下文的压缩表述为函数空间中的插值逼近,给出理论上更严谨的压缩准则,并据此设计可保持注意力的保真度的压缩方案。

核心要点:

  • 用核插值法重新定义注意力上下文/KV-Cache 压缩问题
  • 将压缩建模为函数空间插值逼近,提供理论准则
  • 在长上下文下降低显存与计算开销同时保持注意力保真

6. 残差门视角下的扩散模型训练加速机制解析

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2610.40914 标签:扩散模型 · 训练加速 · 残差门 · AdaLN · DiT

REPA、分散正则化等扩散 Transformer 训练加速方法通常被解释为额外监督、空间结构先验或特征几何改善。本文重新审视这一观点,发现其背后一个被忽略的内部变化:AdaLN-Zero 残差门 α(直接控制条件更新注入强度的门控)在加速训练中发生显著漂移,并据此给出更贴近机理的加速解释与改进方向。

核心要点:

  • 发现扩散训练加速的关键内部信号是残差门 α 的漂移
  • 挑战’额外监督/几何改善’的主流解释,给出机理级新视角
  • 为 DiT 训练加速方法的分析与调参提供新抓手

7. 空闲算力并非浪费:现代多核处理器的功耗与热约束再思考

来源:arXiv cs.AR / cs.OS 链接:https://arxiv.org/abs/2607.16408 标签:OS调度 · 功耗约束 · 热设计 · 多核 · 负载迁移

网络服务中空闲核心长期被视为’浪费算力’,催生了大量微秒级回收空闲核的机制。本文指出在现代服务器多核处理器上这一假设已经过时:活跃核心共享芯片级功耗与热封装预算,抢回空闲核反而可能触发降频。文章重新审视了空闲核回收的代价,对操作系统调度与功耗管理策略提出修正视角。

核心要点:

  • 现代多核芯片存在包级功耗/热共享,回收空闲核可能引降频
  • 质疑’空闲即浪费’的传统调度假设
  • 对 OS 调度器与功耗管理提出更贴近硬件现实的修正

📊 今日速览

# 标题摘要 来源 方向
1 NVIDIA B200 与 B300 功耗级基准评测:为不同负载匹配 Blackwell GPU arXiv cs.AR GPU评测
2 AMMA:面向百万级上下文低延迟注意力服务的多芯粒存算一体架构 arXiv cs.AR 注意力服务
3 投机草稿模型与连续扩散语言模型的生成鸿沟 arXiv cs.CL 推理加速
4 TraceSpec:面向 LLM Agent 的投机解码理解与改进框架 arXiv cs.CL 推理加速
5 基于核插值法的注意力机制上下文压缩 arXiv cs.LG 上下文压缩
6 残差门视角下的扩散模型训练加速机制解析 arXiv cs.LG 训练加速
7 空闲算力并非浪费:现代多核处理器的功耗与热约束再思考 arXiv cs.AR / cs.OS OS调度

自动生成 · 2026-11-03 · jeffinchen daily tech reading list

评论