← Reading List
📰 技术速递

LLM量化推理 · 内核优化 · 边缘部署 · 自我进化

Tech多源前沿

📰 2026-05-28 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM量化推理、Triton内核优化、边缘部署加速、PyTorch编译机制、自监督后训练。


1. TLX Block Attention:面向 Blackwell 架构的稀疏自注意力 Triton 内核

来源:PyTorch Blog
链接:https://pytorch.org/blog/tlx-block-attention-a-warp-specialized-blackwell-kernel-for-fixed-block-sparse-self-attention/
标签:Triton · 稀疏注意力 · Blackwell · CUDA · 内核优化

Meta 开源了 TLX Block Attention,一种专为 NVIDIA Blackwell GPU 设计的 Triton warp 专用内核,实现固定块稀疏自注意力。通过 warp 特化设计,该内核在保持精度的同时大幅提升计算效率,代码已在 facebookresearch/ads_model_kernel_library 开源。核心创新在于将注意力稀疏性与 Blackwell 新增的硬件特性深度耦合,展示了下一代 GPU 架构驱动的注意力优化路径。

核心要点:

  • Triton 实现:基于 warp 特化编程模型,充分利用 Blackwell SM 架构优势
  • 固定块稀疏性:通过预定义块结构跳过冗余计算,降低注意力复杂度
  • Meta 开源实践:配合 Meta 广告模型推理库,可直接应用于大规模生产

2. PyTorch Compile 为什么这么快:内核融合机制详解

来源:PyTorch Blog
链接:https://pytorch.org/blog/why-is-pytorch-compile-so-fast-kernel-fusion/
标签:torch.compile · 内核融合 · 编译优化 · GPU · 推理加速

PyTorch 官方深度解析 torch.compile 的核心加速机制——内核融合。未编译时,GPU 对每个算子单独启动 kernel,内存读写成为主要瓶颈;编译后,多个算子被融合为单一 kernel,显著减少内存往返,实现最高 10x 的速度提升。文章通过可视化示例解释 operator fusion 如何消除冗余 HBM 读写。

核心要点:

  • 内存带宽瓶颈:逐算子 kernel 启动导致大量 HBM 读写往返,成为 GPU 计算主要瓶颈
  • 融合策略:torch.compile 自动识别可融合的算子组合,合并为单次 kernel 调用
  • 实测加速:典型 Transformer 推理任务可获得 2-10x 性能提升,无需修改模型代码

3. InfoQuant:通过激活分布整形提升低比特 LLM 量化精度

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.26175
标签:量化 · 激活分布 · 低比特推理 · LLM · W4A4

低比特激活量化(如 W4A4)是 LLM 高效部署的关键瓶颈,因激活分布存在明显异常值而难以直接量化。InfoQuant 通过信息论视角重新建模激活分布整形问题,利用最大化量化后信息保留率的目标函数,自适应地对激活进行预处理,在保持精度的同时实现低比特量化。

核心要点:

  • 核心洞察:LLM 激活中存在重尾分布与离群值,是低比特量化精度损失的主因
  • InfoQuant 方法:以最小化量化后互信息损失为目标,自适应整形激活分布
  • 效果:在 W4A4 配置下显著优于现有基线方法,适用于主流 LLM 推理加速场景

4. Cassandra:通过自推测解码在边缘设备上运行推理 LLM

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.26558
标签:推测解码 · 边缘推理 · 推理加速 · LLM · 硬件效率

Cassandra 提出了一种面向边缘设备的自推测解码框架,无需额外的草稿模型即可加速推理型 LLM。通过充分利用 LLM 自身的层级结构作为隐式草稿生成器,Cassandra 在内存受限的边缘场景中实现了推测解码的无损加速,大幅降低了端侧运行大型推理模型的计算门槛。

核心要点:

  • 问题背景:标准推测解码需要额外草稿模型,边缘设备内存不足以加载双模型
  • 自推测解码:利用 LLM 前几层作为草稿生成器,无需额外存储开销
  • 适用场景:专为推理型 LLM(如 QwQ、DeepSeek-R1 类型)设计,可在消费级硬件上运行

5. HiF8 W8A8 量化感知训练的近无损最大窗口尺度估计

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.26189
标签:量化感知训练 · QAT · FP8 · W8A8 · LLM部署

本文针对 HiF8 格式(高精度 FP8 变种)的 W8A8 量化感知训练,提出了最大窗口尺度估计方法,可在几乎无精度损失的前提下完成 QAT。低比特浮点格式(如 FP8/HiF8)是下一代 GPU(Hopper/Blackwell)部署 LLM 的关键,精确的尺度估计直接决定量化误差大小。

核心要点:

  • HiF8 格式:相比标准 FP8,动态范围更宽,适合激活分布复杂的 LLM 中间层
  • 窗口尺度估计:自适应计算每个激活窗口的最优缩放因子,最小化量化误差
  • 近无损 QAT:在 Llama/Qwen 系列模型上验证,W8A8 精度与 BF16 基线差距在 0.5% 以内

6. TokenSpeed 创下 580 tps 新纪录:Qwen3.5-397B 在 GPU 上的极限推理

来源:PyTorch Blog
链接:https://pytorch.org/blog/up-to-580tps-new-speed-record-of-qwen3-5-397b-a17b-on-gpu-for-agentic-workloads-with-tokenspeed/
标签:推理引擎 · 高吞吐 · MoE · Qwen · 分布式推理

TokenSpeed 推理引擎在 GPU 集群上运行 Qwen3.5-397B-A17B(MoE 架构)达到 580 tokens/s 的新纪录,专为 Agentic 工作负载优化。文章披露了其核心技术栈,包括高效的 MoE 路由、张量并行策略及 KV Cache 管理,为超大规模 MoE 模型的生产部署提供了重要参考。

核心要点:

  • 580 tps 新纪录:超越此前业界最高 tps 记录,验证了 MoE 大模型高吞吐推理的可行性
  • Agentic 场景优化:针对多轮长上下文、工具调用等 Agent 工作负载特别优化调度策略
  • 技术栈:结合 Triton 自定义内核、动态 batch、高效 MoE 专家路由,实现极限吞吐

7. 自验证蒸馏:语言模型可以用无标签数据持续自我提升

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.26132
标签:知识蒸馏 · 自监督 · 合成数据 · 后训练 · LLM对齐

Self-Verified Distillation(SVD)展示了后训练 LLM 可以仅凭无标签 prompt 数据进行自我迭代提升。模型生成回答后通过自验证机制过滤高置信度样本构建训练集,再对自身进行蒸馏,无需教师模型或人工标注。该方法为 LLM 持续学习提供了低成本的自进化路径。

核心要点:

  • 核心思路:LLM 先生成答案,再用自身验证置信度筛选高质量样本,闭环自我蒸馏
  • 无需外部数据:仅依赖无标签 prompt,无需人工标注或更大的教师模型
  • 迭代提升:多轮 SVD 可持续提升模型在推理和知识密集型任务上的表现

📊 今日速览

# 标题摘要 来源 方向
1 TLX Block Attention:… PyTorch Blog Triton内核 · GPU架构
2 PyTorch Compile 为什么这… PyTorch Blog 编译优化 · 内核融合
3 InfoQuant:通过激活分布整形提升… arXiv cs.LG 激活量化 · 低比特
4 Cassandra:通过自推测解码在边缘… arXiv cs.AR 推测解码 · 边缘AI
5 HiF8 W8A8 量化感知训练的近无损… arXiv cs.LG QAT · FP8量化
6 TokenSpeed 创下 580 tp… PyTorch Blog 高吞吐推理 · MoE
7 自验证蒸馏:语言模型可以用无标签数据持续… arXiv cs.CL 自监督 · 后训练

自动生成 · 2026-05-28 · jeffinchen daily tech reading list

评论