← Reading List
📰 技术速递

GPU Kernel Agent 竞赛、FlashInfer 实战与异构算子优化

Tech多源前沿

📰 2026-05-18 · 每日技术速递

今日精选 6 篇深度技术文章,聚焦 GPU kernel 生成 Agent、MLSys 竞赛实战、算子优化与编译器调优。


1. 基于代码智能体的 GPU Kernel 生成与优化:MLSys 2026 FlashInfer 竞赛复盘

来源:技术博客(MLSys 2026 FlashInfer Contest 参赛记) 链接:https://syhya.github.io/zh/posts/2026-05-18-flashinfer-contest/ 标签:GPU Kernel · AI Agent · MLSys · 竞赛实战

作者复盘用 LLM Agent 自动生成 GPU kernel 的完整参赛流程:Harness 设计、评测闭环、错误反馈与迭代策略。文章的价值在于把”Agent 写内核”从 demo 拉到真实竞赛环境,展示当前代码智能体在数值正确性约束下能达到的真实水平。

核心要点:

  • Agent 工作流:生成 → 编译 → 数值校验 → 性能回归的闭环
  • Harness 设计决定 Agent 上限:错误信息质量与重试预算
  • 真实竞赛中 Agent 相比人类专家的差距与反超场景

2. KDA:Agentic CUDA Kernel 优化框架

来源:技术博客(Kernel Design Agents / MLSys 2026 FlashInfer 赛道) 链接:https://langcopilot.com/posts/2026-05-23-let-the-agent-optimize-its-own/ 标签:CUDA · Agent 工作流 · Kernel 优化 · 开源

KDA(Kernel Design Agents)开源了一套可复现的 Agentic kernel 优化工作流:让 Agent 自己提出优化假设、改写 CUDA 代码、跑基准并自我修正。配合 MLSys 2026 FlashInfer Full Agent 赛道,展示了”Agent + 编译器 + 硬件计数器”三位一体的自动调优范式。

核心要点:

  • 假设驱动的优化循环:profile → 假设 → 重写 → 验证
  • 开源可复现的评测环境与任务定义
  • 在 FlashInfer 竞赛任务上达到接近专家调优的水平

3. Triton:中间表示与 GPU 编程的深度耦合

来源:OpenAI Triton 官方文档/论文 链接:https://triton-lang.org/main/getting-started.html 标签:Triton · DSL · 编译器 · GPU 编程

Triton 用”块级编程”抽象替代 CUDA 的线程级编程:开发者以 tile 为单位写代码,编译器负责线程映射、共享内存流水与向量化。FlashAttention、Unsloth、各类量化内核的官方实现已全面转向 Triton,是算子工程师 2026 年的必备技能。

核心要点:

  • 块级(tile-level)编程模型:屏蔽线程级细节
  • 编译器自动处理共享内存 swizzle、流水与合并访存
  • 与 torch.compile 集成,成为 PyTorch 官方代码生成后端

4. FlashDecoding++:面向可变长度输入的大模型推理加速

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2311.01282 标签:解码加速 · Softmax 优化 · 推理内核 · KV Cache

FlashDecoding++ 系统分析了 decode 阶段的三个瓶颈:softmax 同步开销、部分 softmax 数值安全、不同请求变长带来的负载不均。通过同步无阻塞 softmax 与统一最大值等技巧,在多硬件(NVIDIA/Ascend)上提升解码吞吐,是 decode 内核优化的代表作。

核心要点:

  • 无阻塞 softmax:消除跨 SM 的全局同步等待
  • 统一 max 机制规避分块 softmax 的数值安全开销
  • 变长 batch 的 kernel 级负载均衡策略

5. CUTLASS:C++ CUDA Tensor Core 模板库的设计哲学

来源:NVIDIA Developer Blog(CUTLASS 4.x) 链接:https://developer.nvidia.com/blog/cutlass-modernizing-and-extending-the-high-performance-cuda-template-library-for-gemm/ 标签:CUTLASS · Tensor Core · GEMM · 模板元编程

CUTLASS 是 NVIDIA 维护的高性能 GEMM/Conv 模板库,通过 C++ 模板分层(threadblock warp instruction)组合出面向各代 Tensor Core 的最优内核。CUTLASS 4 引入 CuTe DSL(Python 接口),让算子开发从”模板炼金术”走向可读的层次化描述。

核心要点:

  • 层次化分解:device → kernel → threadblock → warp → instruction
  • CuTe 的 Layout/Atom 抽象统一描述数据排布与拷贝
  • PyTorch、TensorRT 等主流框架底层 GEMM 的实际来源

6. Triton 分布式:面向 Triton 编译器的分布式系统

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2405.10069 标签:分布式编译 · SPMD · 数据并行 · 自动并行

把自动并行放到编译器里做:Triton-distributed 在块级编程模型上加入分布式原语(通信、同步与内存管理算子),让单卡的 Triton 内核天然扩展到多卡,自动生成 SPMD 程序。它代表了”算子编译器吞掉通信库”的前沿方向,与 NCCL/HCCL 这类运行时方案形成互补。

核心要点:

  • 在 Triton IR 上扩展通信/同步原语,统一表达计算与通信
  • 自动并行生成 SPMD 内核,减少手写多卡算子的心智负担
  • 在 Attention/FFN 多卡算子上接近手写 Megatron 性能

📊 今日速览

# 标题摘要 来源 方向
1 基于代码智能体的 GPU Kernel 生成与优化竞赛复盘 技术博客 Kernel Agent
2 KDA:Agentic CUDA Kernel 优化框架 技术博客 Kernel Agent
3 Triton:中间表示与 GPU 编程的深度耦合 Triton 官方 DSL
4 FlashDecoding++:可变长度输入的大模型推理加速 arXiv cs.LG 解码加速
5 CUTLASS:CUDA Tensor Core 模板库的设计哲学 NVIDIA Blog GEMM
6 Triton 分布式:面向 Triton 编译器的分布式系统 arXiv cs.LG 分布式编译

自动生成 · 2026-05-18 · jeffinchen daily tech reading list

评论