📰 2026-05-18 · 每日技术速递
今日精选 6 篇深度技术文章,聚焦 GPU kernel 生成 Agent、MLSys 竞赛实战、算子优化与编译器调优。
1. 基于代码智能体的 GPU Kernel 生成与优化:MLSys 2026 FlashInfer 竞赛复盘
来源:技术博客(MLSys 2026 FlashInfer Contest 参赛记) 链接:https://syhya.github.io/zh/posts/2026-05-18-flashinfer-contest/ 标签:GPU Kernel · AI Agent · MLSys · 竞赛实战
作者复盘用 LLM Agent 自动生成 GPU kernel 的完整参赛流程:Harness 设计、评测闭环、错误反馈与迭代策略。文章的价值在于把”Agent 写内核”从 demo 拉到真实竞赛环境,展示当前代码智能体在数值正确性约束下能达到的真实水平。
核心要点:
- Agent 工作流:生成 → 编译 → 数值校验 → 性能回归的闭环
- Harness 设计决定 Agent 上限:错误信息质量与重试预算
- 真实竞赛中 Agent 相比人类专家的差距与反超场景
2. KDA:Agentic CUDA Kernel 优化框架
来源:技术博客(Kernel Design Agents / MLSys 2026 FlashInfer 赛道) 链接:https://langcopilot.com/posts/2026-05-23-let-the-agent-optimize-its-own/ 标签:CUDA · Agent 工作流 · Kernel 优化 · 开源
KDA(Kernel Design Agents)开源了一套可复现的 Agentic kernel 优化工作流:让 Agent 自己提出优化假设、改写 CUDA 代码、跑基准并自我修正。配合 MLSys 2026 FlashInfer Full Agent 赛道,展示了”Agent + 编译器 + 硬件计数器”三位一体的自动调优范式。
核心要点:
- 假设驱动的优化循环:profile → 假设 → 重写 → 验证
- 开源可复现的评测环境与任务定义
- 在 FlashInfer 竞赛任务上达到接近专家调优的水平
3. Triton:中间表示与 GPU 编程的深度耦合
来源:OpenAI Triton 官方文档/论文 链接:https://triton-lang.org/main/getting-started.html 标签:Triton · DSL · 编译器 · GPU 编程
Triton 用”块级编程”抽象替代 CUDA 的线程级编程:开发者以 tile 为单位写代码,编译器负责线程映射、共享内存流水与向量化。FlashAttention、Unsloth、各类量化内核的官方实现已全面转向 Triton,是算子工程师 2026 年的必备技能。
核心要点:
- 块级(tile-level)编程模型:屏蔽线程级细节
- 编译器自动处理共享内存 swizzle、流水与合并访存
- 与 torch.compile 集成,成为 PyTorch 官方代码生成后端
4. FlashDecoding++:面向可变长度输入的大模型推理加速
来源:arXiv cs.LG 链接:https://arxiv.org/abs/2311.01282 标签:解码加速 · Softmax 优化 · 推理内核 · KV Cache
FlashDecoding++ 系统分析了 decode 阶段的三个瓶颈:softmax 同步开销、部分 softmax 数值安全、不同请求变长带来的负载不均。通过同步无阻塞 softmax 与统一最大值等技巧,在多硬件(NVIDIA/Ascend)上提升解码吞吐,是 decode 内核优化的代表作。
核心要点:
- 无阻塞 softmax:消除跨 SM 的全局同步等待
- 统一 max 机制规避分块 softmax 的数值安全开销
- 变长 batch 的 kernel 级负载均衡策略
5. CUTLASS:C++ CUDA Tensor Core 模板库的设计哲学
来源:NVIDIA Developer Blog(CUTLASS 4.x) 链接:https://developer.nvidia.com/blog/cutlass-modernizing-and-extending-the-high-performance-cuda-template-library-for-gemm/ 标签:CUTLASS · Tensor Core · GEMM · 模板元编程
CUTLASS 是 NVIDIA 维护的高性能 GEMM/Conv 模板库,通过 C++ 模板分层(threadblock warp instruction)组合出面向各代 Tensor Core 的最优内核。CUTLASS 4 引入 CuTe DSL(Python 接口),让算子开发从”模板炼金术”走向可读的层次化描述。
核心要点:
- 层次化分解:device → kernel → threadblock → warp → instruction
- CuTe 的 Layout/Atom 抽象统一描述数据排布与拷贝
- PyTorch、TensorRT 等主流框架底层 GEMM 的实际来源
6. Triton 分布式:面向 Triton 编译器的分布式系统
来源:arXiv cs.LG 链接:https://arxiv.org/abs/2405.10069 标签:分布式编译 · SPMD · 数据并行 · 自动并行
把自动并行放到编译器里做:Triton-distributed 在块级编程模型上加入分布式原语(通信、同步与内存管理算子),让单卡的 Triton 内核天然扩展到多卡,自动生成 SPMD 程序。它代表了”算子编译器吞掉通信库”的前沿方向,与 NCCL/HCCL 这类运行时方案形成互补。
核心要点:
- 在 Triton IR 上扩展通信/同步原语,统一表达计算与通信
- 自动并行生成 SPMD 内核,减少手写多卡算子的心智负担
- 在 Attention/FFN 多卡算子上接近手写 Megatron 性能
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | 基于代码智能体的 GPU Kernel 生成与优化竞赛复盘 | 技术博客 | Kernel Agent |
| 2 | KDA:Agentic CUDA Kernel 优化框架 | 技术博客 | Kernel Agent |
| 3 | Triton:中间表示与 GPU 编程的深度耦合 | Triton 官方 | DSL |
| 4 | FlashDecoding++:可变长度输入的大模型推理加速 | arXiv cs.LG | 解码加速 |
| 5 | CUTLASS:CUDA Tensor Core 模板库的设计哲学 | NVIDIA Blog | GEMM |
| 6 | Triton 分布式:面向 Triton 编译器的分布式系统 | arXiv cs.LG | 分布式编译 |
自动生成 · 2026-05-18 · jeffinchen daily tech reading list
评论