← Reading List
📰 技术速递

大模型推理加速与 GPU 内核前沿

Tech多源前沿

📰 2026-10-11 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 大模型推理加速、编译器/Kernel DSL、GPU/CUDA 注意力内核、GPU 集群调度、量化与本地推理、分布式 RL 训练。


1. Session-Aware Agentic Inference with NVIDIA Dynamo

来源:PyTorch 链接:https://pytorch.org/blog/session-aware-agentic-inference-with-nvidia-dynamo/ 标签:Agentic推理 · KV缓存 · NVIDIA Dynamo · 会话感知 · 推理调度

Agentic 工作负载改变了推理服务器所面对的流量特征。与单轮对话不同,一个 agent 会话可能包含一次大型初始 prefill、多次重复模型调用,以及并行运行的子 agent。文章介绍如何使用 NVIDIA Dynamo 做会话感知的推理调度,让 KV 缓存在工具执行期间保持常驻,从而显著提升 agentic 场景下的吞吐与资源利用率。

核心要点:

  • Agentic 流量相比单轮 chat 具有大 prefill + 重复调用 + 并行子 agent 的特征
  • 会话感知调度让 KV 缓存在工具调用间隙保持常驻,避免重复计算
  • 基于 NVIDIA Dynamo 实现,提升 agentic 工作负载下的推理吞吐

2. 基于 Helion 构建高性能可移植的 vLLM 线性层后端

来源:PyTorch 链接:https://pytorch.org/blog/building-a-high-performance-and-portable-vllm-linear-backend-with-helion/ 标签:Helion · vLLM · Kernel DSL · 自动调优 · 推理性能

作者将 Helion 自动调优的高层 kernel DSL 集成进 vLLM 的线性层后端,探索其如何在不增加 kernel 实现复杂度的前提下提升 LLM 推理性能。单个 Helion 通用 kernel 即可覆盖多种 shape,兼顾性能与可移植性,降低手写 kernel 的维护成本。

核心要点:

  • 将 Helion 自动调优的高层 kernel DSL 接入 vLLM linear backend
  • 单一通用 kernel 覆盖多种矩阵形状,降低手写 kernel 的维护成本
  • 在保持可移植性的同时获得接近手写的推理性能

3. 在 Blackwell 上用 TLX 优化 Jagged Flash Attention(迈向 SOTA FA4)

来源:PyTorch 链接:https://pytorch.org/blog/optimizing-jagged-flash-attention-with-tlx-the-road-toward-sota-fa4-on-blackwell/ 标签:FlashAttention · Blackwell · TLX · Jagged · CUDA内核

文章介绍在 NVIDIA Blackwell(B200)上实现 Jagged Flash Attention(JFA)的工作——这是 Meta 生成式广告模型(GEM)背后的注意力内核。借助 TLX 工具链对变长/不规则序列的注意力计算进行 kernel 级优化,向 SOTA 级 FA4 性能迈进。

核心要点:

  • JFA 是 Meta GEM 生成式广告模型的注意力内核,处理变长/不规则(jagged)序列
  • 在 Blackwell B200 上借助 TLX 完成 kernel 级优化
  • 目标对齐 SOTA 级 FA4 性能,兼顾大规模推荐场景的算力效率

4. 用 FBTriton 现代化 Table Batched Embeddings

来源:PyTorch 链接:https://pytorch.org/blog/modernizing-table-batched-embeddings-with-fbtriton/ 标签:TBE · FBTriton · Triton · Embedding · 推荐系统

本文探讨 FBTriton 在 Table Batched Embedding(TBE)前向与反向算子上的 kernel 设计。TBE 是推荐系统的核心算子,需在数千张分片 GPU 上完成跨表的 embedding 查表,文章介绍用 Triton 重写以现代化这一关键算子,获得更好的可维护性与性能。

核心要点:

  • TBE 是推荐系统的核心算子,涉及数千张分片 GPU 上的 embedding 查表
  • FBTriton 用 Triton 重新实现其前向/反向 kernel
  • 目标是在大规模推荐训练中获得更好的可维护性与性能

5. 面向 GPU 集群的影响度调度(Impactful Scheduling)

来源:HuggingFace / Ai2 链接:https://huggingface.co/blog/allenai/impactful-scheduling 标签:GPU集群 · 调度器 · 公平分配 · 分布式训练 · 资源预算

Ai2 基础设施团队将原本基于优先级的调度器替换为一套包含 GPU 时间预算、层级公平共享分配与时间片合约的新系统。该方案将”各研究项目应得多少 GPU 时间”的争论从逐案运营任务转变为透明的行政预算流程,在数千张 H100/B200/B300 上服务约 150 名研究员的需求。

核心要点:

  • 以可用性→占用率→影响度→利用率的金字塔指标指导调度决策
  • 引入 GPU 时间预算 + 层级公平共享 + 时间片合约替代纯优先级调度
  • 在 2–3 倍超额订阅需求下实现透明、可审计的算力分配

6. Transformers 现已支持运行 llama.cpp 量化模型

来源:HuggingFace 链接:https://huggingface.co/blog/transformers-llama-cpp-quants 标签:GGUF · 量化 · 本地推理 · Apple Silicon · transformers

Transformers 新增对 GGUF 量化模型的高效运行支持。用户可直接从 Hub 选取 GGUF 检查点,用熟悉的 from_pretrained 加载并在本机生成。为逼近 llama.cpp 的性能,团队通过 kernels 库复用 ggml 底层内核并降低 generate 开销,初期聚焦 Apple Silicon 上的 Qwen3.5 架构。

核心要点:

  • transformers 现可直接 from_pretrained 加载 GGUF 量化检查点
  • 复用 ggml 底层内核 + 降低 generate 开销,逼近 llama.cpp 性能
  • 初期聚焦 Apple Silicon 本地推理(Qwen3.5 架构)

7. 跨 HF Jobs 的异步 GRPO + LoRA:一个桶、一个代理、无需 NCCL

来源:HuggingFace 链接:https://huggingface.co/blog/asyncgrpo-lora-hfjobs 标签:GRPO · LoRA · 异步训练 · 分布式RL · vLLM

TRL v1.14 的 AsyncGRPOTrainer 现在可训练 LoRA 适配器并仅将其同步到 vLLM。rank-1 适配器仅数 MB,可通过挂载在每个 Job 的存储桶传输,而非走 NCCL。训练器与 vLLM 副本作为独立 HF Job 跑在不同机器上,一个轻量代理负责鉴权、按 KV 前缀路由 rollout 并广播适配器。实测 500 步从 3h27m 压缩到 53m。

核心要点:

  • AsyncGRPOTrainer(TRL v1.14)训练 LoRA 适配器并仅同步适配器到 vLLM
  • 用存储桶传输数 MB 级适配器替代 NCCL,训练/推理彻底解耦到不同机器
  • 轻量代理按 KV 前缀路由 + 广播适配器;500 步由 3h27m 降至 53m

📊 今日速览

# 标题摘要 来源 方向
1 Session-Aware Agentic Inference with NVIDIA Dynamo PyTorch 推理调度
2 基于 Helion 构建高性能 vLLM 线性层后端 PyTorch 编译器/Kernel
3 在 Blackwell 上用 TLX 优化 Jagged Flash Attention PyTorch CUDA 注意力
4 用 FBTriton 现代化 Table Batched Embeddings PyTorch CUDA Kernel
5 面向 GPU 集群的影响度调度 Ai2/HF GPU 集群调度
6 Transformers 支持运行 llama.cpp 量化模型 HF 量化/本地推理
7 跨 HF Jobs 的异步 GRPO + LoRA HF 分布式 RL

自动生成 · 2026-10-11 · jeffinchen daily tech reading list

评论