← Reading List
📰 技术速递

大模型量化、GPU 注意力加速与推理确定性治理

Tech多源前沿

1. HBQ:面向精确 LLM 推理的分层缩放块量化

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.00450 标签:LLM量化 · 块量化 · W4A5 · ASIC加速器 · KV缓存

块量化(BQ)通过对权重和激活同时量化来加速 LLM 推理,但其设计空间长期未被充分探索。作者通过硬件-精度联合设计空间探索发现:块大小是关键权衡——更大的块能摊薄反量化与累加开销、提升硬件效率,却会损害精度。为此提出分层块量化 HBQ,用低开销的尾数(SIG)缩放做二级量化,补偿大块误差并分别适配权重与激活分布。HBQ-A 以 W4A5 达到 W4A16 级精度且面积低于 NVFP4;HBQ-E 进一步降低 17% 硬件成本且精度优于现有 BQ。在 28nm ASIC 加速器上实现权重/激活/KV 缓存量化,并引入 partial-sum BQ 降低 EMA 能耗。

核心要点:

  • 识别块量化中“块越大→硬件效率越高但精度越差”的核心权衡,并据此设计二级 SIG 缩放
  • HBQ-A 以 W4A5 配置达到接近 W4A16 的精度,面积低于 NVFP4;HBQ-E 硬件成本再降 17%
  • 在 28nm ASIC 上对权重、激活、KV 缓存统一实现,并引入 partial-sum BQ 进一步降低能耗

2. Tessera:将逻辑掩码与 GPU 执行解耦的动态块稀疏注意力

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.25869 标签:块稀疏注意力 · GPU运行时 · vDiT · 注意力加速 · kernel融合

视频扩散 Transformer(vDiT)通过迭代去噪生成视频,注意力计算是其推理的主要开销。块稀疏注意力(BSA)只计算逻辑掩码选中的块,但将逻辑几何与执行选择耦合会限制对多样掩码和 GPU 的适配,而运行时 kernel 特化又可能带来超过执行收益的预备开销。Tessera 是一个面向动态 BSA 的专用运行时:物理映射层将逻辑注意力块保留、合并或细分为适配不同掩码形状与 GPU 架构的物理 tile;任务组织层在 GPU task 内分组调度 tile 以复用数据、暴露并行并重叠数据搬运与计算;最后通过 profile 引导的查表进行低开销执行方案选择。

核心要点:

  • 提出物理映射层,将逻辑注意力块重组为适配不同掩码形状与 GPU 架构的物理 tile
  • 任务组织层分组调度 tile,复用数据、暴露并行度并重叠搬运与计算
  • profile 引导的 regime 选择以查表方式实现低开销执行计划切换

3. 面向智能体式 LLM 服务的 HBM 与高带宽闪存冷热分层

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.25782 标签:KV缓存 · HBM · 高带宽闪存 · Agentic LLM · 显存分层

LLM 服务正日益“智能体化”:多轮会话在动作之间是空闲的,却必须保留完整上下文。有限的 GPU 显存迫使非活跃 KV 状态被驱逐,恢复会话要么付出昂贵的重算、要么承受缓慢的互联传输。高带宽闪存(HBF,片上 3D-NAND)容量比 HBM 高几个数量级、读带宽相当,但读能耗高、写耐久有限,难以承载全部 KV 流量。作者发现智能体 KV 状态有鲜明访问模式:一小部分热集每步解码都读,大量冷池仅在会话恢复时读。据此将热集放 HBM、冷池放 HBF,在 GPU 显存层内构成冷热 KV 层级。在 Qwen3-Coder-30B-A3B 上实现 14ms TBT,恢复延迟仅增加约 0.1ms,并承载 24× 更大上下文。

核心要点:

  • 刻画智能体 KV 状态的冷热访问模式:小热集每步读取、大冷池仅恢复时读取
  • 在 GPU 显存层内构建 HBM(热)+ HBF(冷)的 KV 层级
  • Qwen3-Coder-30B-A3B 上 14ms TBT,恢复延迟仅 +0.1ms,承载 24× 更大上下文

4. 加速缓解跨 GPU 架构的 LLM 推理非确定性

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.25624 标签:推理可复现 · 浮点非结合性 · GEMM · GPU内核 · FP32累加

LLM 在贪心解码下本应可复现,但实践中同一模型、提示与软件栈在不同 GPU 上会产生不同输出。根因是浮点非结合性叠加硬件相关的 kernel 选择:推理框架在各架构上挑选不同的矩阵乘 kernel,其并行归约顺序与未指定的 tensor-core 算术差异会翻转输出 token。现有方案跨架构复现不完美且性能损耗显著。本文提出一组固定配置的融合升精度 GEMM kernel:从显存加载 16-bit 权重、在寄存器升为 FP32、以仅依赖问题形状的 IEEE-754 顺序累加,使归约顺序成为问题形状的纯函数,与设备、SM 数量、kernel 调度无关。

核心要点:

  • 定位跨 GPU 非确定性根因:浮点非结合性 + 硬件相关 GEMM kernel 选择导致 token 翻转
  • 设计固定配置融合升精度 GEMM:寄存器内升 FP32、IEEE-754 归约顺序仅由问题形状决定
  • 归约顺序成为设备无关的纯函数,实现跨架构可复现且不依赖 SM 数量与调度

5. TierBPF:通过 eBPF 实现分层内存的页迁移准入控制

来源:arXiv cs.OS 链接:https://arxiv.org/abs/2604.12300 标签:分层内存 · eBPF · 页迁移 · OS内核 · 性能优化

基于软件的内存分层系统决定页面应放在慢速层还是快速层,却忽略了两个显著影响应用性能的因素:被迁移页面的尺寸,以及底层硬件设备与分层拓扑。TierBPF 是一套可插入现有内存分层系统的软件机制,通过架构感知的页准入决策纳入这两个因素。它实现为一组 eBPF 钩子,允许用户自定义策略;并采用与 working-set 大小无关的轻量级页面画像机制做决策。TierBPF 集成进三套内存分层系统、以 17 个负载评估,几何平均吞吐最高提升 15.9%,单负载最高提升 75%。

核心要点:

  • 指出分层内存系统忽略“迁移页尺寸”与“硬件拓扑”两大性能因素
  • 以 eBPF 钩子实现可插拔、用户自定义策略的架构感知页准入控制
  • 集成三套分层系统、17 个负载,几何平均吞吐最高 +15.9%,单负载最高 +75%

6. OSFoundry:用规范引导的智能体构建与演进操作系统

来源:arXiv cs.OS 链接:https://arxiv.org/abs/2609.25018 标签:操作系统 · AI智能体 · 规范引导 · SysSpec · 系统设计

操作系统必须持续演进,但其开发仍以代码为中心、高度手工——即便局部修改也需恢复隐含假设、协调多子系统,并反复构建、启动、测试、调试。通用编码智能体只自动化单次编辑,其提示驱动的流程需反复从分散上下文重建任务边界与 OS 语义,难以支撑持续的 OS 演进。OSFoundry 是一个 OS 专用的智能体框架,让设计意图在开发全程持久化:核心洞见是将稳定意图与多样实现分离。它用 SysSpec*(共享开发蓝图)表达意图——Plan 界定改动目标,Specification 记录接口、模块依赖与并发语义——智能体据此实现并校验代码。

核心要点:

  • 将稳定设计意图与多样实现分离,用 SysSpec* 蓝图持久化 OS 开发意图
  • Plan 界定改动边界,Specification 记录接口/依赖/并发语义供智能体校验
  • 面向“持续 OS 演进”而非单次编辑,提升智能体在系统级任务上的可靠性

7. vLLM 中的硬件无关模型层

来源:PyTorch Blog 链接:https://pytorch.org/blog/hardware-agnostic-models-in-vllm/ 标签:vLLM · torch.compile · 硬件抽象 · OOT插件 · 推理框架

为在前沿 GPU 上追平 SOTA 性能,vLLM 正改造内部实现,使其与 fullgraph torch.compile 不兼容,这对在意非树内加速器、老 GPU 或冷门模型的用户有影响。为此 vLLM 引入一组“硬件无关(HW agnostic)”层:要求可编译、可扩展(保留 CustomOp/PluggableLayer 供 OOT 插件覆盖)、隔离(与硬件特定路径独立演进)、可移植(尽量用原生 PyTorch 或 Triton/Helion 等可移植 DSL 实现)。HW 无关层已部分合入主干(model_executor/hw_agnostic),可通过 USE_HW_AGNOSTIC=1 启用;在 NVIDIA H100 上对若干近期模型实现与原生实现 token 吞吐几何平均差距仅 3.4%。

核心要点:

  • vLLM 为前沿性能转向“flat”硬件特定模型,破坏 torch.compile 与 OOT 可扩展性
  • 新增 HW agnostic 层,遵循可编译/可扩展/隔离/可移植四原则,与硬件路径并行演进
  • H100 上 token 吞吐几何平均仅落后原生 3.4%,已支持 USE_HW_AGNOSTIC=1 启用

📊 今日速览

# 标题摘要 来源 方向
1 HBQ:面向精确 LLM 推理的分层缩放块量化 arXiv cs.AR 模型量化
2 Tessera:将逻辑掩码与 GPU 执行解耦的动态块稀疏注意力 arXiv cs.AR 注意力加速
3 面向智能体式 LLM 服务的 HBM 与高带宽闪存冷热分层 arXiv cs.AR 显存分层
4 加速缓解跨 GPU 架构的 LLM 推理非确定性 arXiv cs.AR 推理可复现
5 TierBPF:通过 eBPF 实现分层内存的页迁移准入控制 arXiv cs.OS OS内存
6 OSFoundry:用规范引导的智能体构建与演进操作系统 arXiv cs.OS OS智能体
7 vLLM 中的硬件无关模型层 PyTorch Blog 推理框架

自动生成 · 2026-09-24 · jeffinchen daily tech reading list

评论