📰 2026-09-11 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 LLM 推理加速与高效部署(量化/无乘法器注意力、近内存 KV 调度、GPU-PIM 块稀疏、跨词表与端侧投机解码、FP8 精度)。
1. Shift-Accumulate Attention:无乘法器的 QK 乘积 Transformer 解码
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.09208 标签:LLM推理 · 量化 · CUDA内核 · 无乘法器 · KV缓存
该工作把二的幂次(PoT)量化从 post-softmax 的 AV 乘积扩展到更早、更大的 QK^T 乘积:将 key 缓存量化为带符号的二幂定点码,使每个标量乘法退化为符号翻转、位移与整数累加。它提出子幂尾数扩展(一次额外 shift-add 将分数误差减半)、位移精确的在线 softmax(运行最大值驻留整数 log2 域,每次重缩放都是一次精确位移)以及对 AV 乘积做 log 量化。在 RTX 4090 的 1.1B Llama 解码器上,融合 CUDA 内核在 B=8、T=32k 时比 FP16 缩放点积注意力快 4.60x 且 KV 缓存缩小 2.5x;其价值在于 PoT 表示的高密度与去乘法器特性,而非单纯 GPU 吞吐。
核心要点:
- 将 Key 缓存量化为带符号二幂定点码,QK^T 每个标量乘法变为符号翻转+整数位移累加
- 子幂尾数扩展以一次 shift-add 将分数误差减半,在线 softmax 在整数 log2 域实现位移精确重缩放
- RTX 4090 上 4-bit 内核较 FP16 快 4.60x、KV 缓存小 2.5x,优势来自去乘法器与高密度而非原始吞吐
2. UNISON:面向 LLM Agent 会话 KV 驻留的近内存协同调度器
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.09643 标签:KV缓存 · 近内存计算 · Agent调度 · SRAM/HBM · TTFT
LLM Agent 循环在工具等待期间持有不断增长的 KV 前缀并将大量会话压在同一 SRAM/HBM 池上,使驱逐与分级放置成为会话级效率问题。UNISON 是一个事件驱动的近内存调度器,其中 SPEAR(按间隔均值与回合危险度选谁离开)与 TIDE(把观察到的等待当 DMA 预算决定谁留在快速层)共享一套实时排序。在 1415 个会话、33596 回合上,其联合策略成为每条 trace 上表现最佳的非 oracle 方案:命中率提升 0.3%–23.1%,AMAT 降低 22%–51%,长程 trace 的 TTFT 降低 58%–89%;28nm 调度核仅占 0.169 mm²、13.6 mW。
核心要点:
- SPEAR 基于间隔均值与回合危险度裁决驱逐,TIDE 用观察到的等待作为 DMA 预算决定快速层驻留
- 联合策略在全部 trace 上优于其他非 oracle 方案,长程 TTFT 最多降低 89%
- 28nm 近内存调度核开销可忽略(0.169 mm² / 13.6 mW),统一设计无法被拆成独立 IP 或纯软件替代
3. AMEND:审计余量实现 GPU-PIM LLM 解码的非阻塞丢弃
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.09823 标签:GPU-PIM · 块稀疏注意力 · KV缓存 · 带宽受限 · 解码加速
自回归解码每步重读增长的 KV 缓存,长上下文注意力受 GPU 显存带宽束缚。AMEND 提出一种 GPU-PIM 注意力设计,预测每个 KV 块的 BLASST(相对块阈值) verdict,使 GPU 只取回预测存活块,而 HBM 内近 bank 的 PIM 单元并行给被略过的补集打分;栈级控制器合并两类观测、更新预测器并急切生成下一步 mask,使每次预测丢弃都被重新观测而不阻塞当前 token。在 batch=8 仿真中,8K–64K 上下文下端到端解码加速 1.40–3.63x,动态解码能耗降低 28–66%,任务质量接近基线。
核心要点:
- 用早期步骤审计出的余量预测每块 BLASST verdict,GPU 只取预测存活块、PIM 并行给补集打分
- 栈级控制器合并观测并急切生成下一步 mask,预测丢弃被重新观测但不阻塞当前 token
- batch=8 仿真下 1.40–3.63x 端到端解码加速、动态能耗降 28–66%,质量近基线
4. X-CoSD:通信高效、跨词表的协同投机解码
来源:arXiv cs.CL 链接:https://arxiv.org/abs/2609.09166 标签:投机解码 · 分布式推理 · 端云协同 · 词表异构 · 通信压缩
协同投机解码(CoSD)中端侧小模型起草、服务器大模型验证,但现有方法假设共享词表且残差重采样需频繁交换 token 分布。X-CoSD 针对异构 SLM-LLM 词表提出无损且通信高效的框架:混合重采样(HR)把残差重采样拆到端侧公共词表区与服务器独有词表区,仅在公共区传输分布;增强版 X-CoSD-E 采用服务器重采样+端侧验证(SR-DV),服务器只发回替换候选及其概率供本地验证。论文证明二者均保持服务器 LLM 分布,实验显示在保持生成质量的同时显著提升 token 生成速度。
核心要点:
- 首次面向异构 SLM-LLM 词表设计无损协同投机解码,打破共享词表假设
- 混合重采样仅传公共词表区分布,X-CoSD-E 仅回传替换候选+概率由端侧验证
- 严格证明保持服务器 LLM 分布,实验中在可比质量下显著提升生成速度
5. Osprey:目标无关预训练打造更稳健的投机解码起草器
来源:arXiv cs.CL 链接:https://arxiv.org/abs/2609.09338 标签:投机解码 · 起草器 · 预训练 · 目标无关 · 跨模型迁移
投机解码的加速很脆弱:起草器通常针对单一目标模型窄分布训练,遇负载漂移时接受率骤降。Osprey 反其道而行,从小型现成预训练语言模型引导起草器,把大规模预训练当作可复用、目标无关的资产,将每目标工作降为轻量适配。它剪枝为浅骨干、用目标无关 next-token 预训练恢复语言能力,再通过词表对齐、零初始化 QKV 扩展与目标分布蒸馏适配各目标。单一 Osprey 骨干可跨目标迁移:Qwen3-8B 平均接受长度 +16.1%、Llama-3.3-70B +21.2%、229B 的 MiniMax-M2.5 +22.7%(token/s +17.5%),域外与多语言增益最大。
核心要点:
- 将预训练作为目标无关可复用资产,单一骨干经轻量适配即可跨多目标模型迁移
- 浅层剪枝 + 目标无关 next-token 预训练恢复语言能力,再经词表对齐与 QKV 扩展适配
- 域外/多语言数据上增益最大,MiniMax-M2.5 接受长度 +22.7%、吞吐 +17.5%
6. PELM:投机解码 + DVFS 的端侧低功耗 LLM 推理
来源:arXiv cs.OS 链接:https://arxiv.org/abs/2609.09662 标签:端侧推理 · 功耗管理 · DVFS · 投机解码 · 可变验证深度
端侧部署 LLM 受算力与散热限制,传统 DVFS 调频在热约束场景仍有不足。PELM 的关键洞见是并非所有 token 都需要全深度推理,因此在 DVFS 处理器调频之外新增两个负载相关旋钮:投机解码与可变验证深度,把优化维度扩展到多维。跨硬件平台与数据集评测中,PELM 相比前沿功耗治理方法最高提速 23.1%、能耗降低 52.4%,同时任务表现可比。
核心要点:
- 核心洞见:并非所有 token 都需全深度推理,可据此扩展优化维度
- 在 DVFS 调频之上叠加投机解码与可变验证深度两个负载相关旋钮
- 最高 23.1% 提速、52.4% 能耗下降,任务质量与 SOTA 功耗治理方法相当
7. FP8 is All You Need (Part 1):以 FP8 张量核重夺 HPC 的 FP64 精度
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2606.06510 标签:FP8 · 量化 · 张量核 · Ozaki方案 · HPC精度
该文主张在 NVIDIA B300 及以后的 AI 优化 GPU 上,FP8 张量核矩阵运算经 CRT 基 Ozaki Scheme II 组合,可在 FP64 级精度下成为主流矩阵主导类 kernel 的主算力基底,使原生 FP64 由硬需求降级为派生的精度保证。其工具是张量-内存均衡(TME)模型(Roofline 扩展,含 4 参数),在融合并优化边界下每个被调研类都触达内存屋顶;Ozaki II 把仿真 FP64 上限从约 1.3 提升到约 135 TFLOPS(B300)与约 473 TFLOPS(Rubin)。文章给出三条解构路径硬件方案并逐项引擎校验常数。
核心要点:
- FP8 张量核经 Ozaki Scheme II 可在 FP64 级精度服务主流 FP64 kernel 类,原生 FP64 降级为精度保证
- TME(Roofline 扩展)模型证明融合并优化边界下每类都触达内存屋顶
- Ozaki II 将仿真 FP64 上限提升到 B300 约 135、Rubin 约 473 TFLOPS,并给出硬件方案
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | 无乘法器 QK 乘积注意力(Shift-Accumulate) | arXiv cs.AR | 量化/CUDA |
| 2 | Agent 会话 KV 近内存协同调度(UNISON) | arXiv cs.AR | KV/近内存 |
| 3 | GPU-PIM 非阻塞块稀疏丢弃(AMEND) | arXiv cs.AR | GPU-PIM |
| 4 | 跨词表通信高效协同投机解码(X-CoSD) | arXiv cs.CL | 分布式推理 |
| 5 | 目标无关预训练起草器(Osprey) | arXiv cs.CL | 投机解码 |
| 6 | 端侧低功耗推理(PELM: 投机+DVFS) | arXiv cs.OS | 端侧推理 |
| 7 | FP8 张量核重夺 FP64 精度(Ozaki II) | arXiv cs.AR | FP8/HPC |
自动生成 · 2026-09-11 · jeffinchen daily tech reading list
评论