📰 每日技术速递 2026-04-29 来源:arXiv cs.AR / cs.LG / PyTorch Blog / HuggingFace Blog
本期精选 7 篇聚焦大模型训练推理、GPU/CUDA 编译器、MoE 架构扩展前沿研究与工程实践。
1. 评测 CUDA Tile:Hopper 与 Blackwell GPU 上的 AI 负载表现
来源: arXiv cs.AR | 标签: GPU, CUDA, 编译器
NVIDIA 的 CUDA Tile(CuTile)引入了基于 Python 的 tile-centric 抽象层,用于简化 GPU kernel 开发。本文系统评测了 CuTile 在 Hopper 和最新 Blackwell 架构上的 AI 工作负载性能,分析其与 CUDA C++ 和 Triton 的对比差异。
🔗 原文链接
2. 混合 JIT-CUDA Graph 优化:低延迟大语言模型推理
来源: arXiv cs.AR | 标签: LLM推理, CUDA, 延迟优化
提出一种混合 JIT 编译与 CUDA Graph 捕获的优化方案,针对 LLM 推理中动态形状(prefill/decode 交替)导致的延迟问题,在保留 CUDA Graph 吞吐优势的同时显著降低 JIT 开销。
🔗 原文链接
3. 利用专家激活模式扩展多节点 MoE 推理
来源: arXiv cs.AR | 标签: MoE, 分布式推理, 专家路由
针对多节点 Mixture-of-Experts 推理,通过分析专家激活规律进行预测性路由和负载均衡,减少跨节点通信开销,实现在不改变模型权重的前提下显著提升吞吐。
🔗 原文链接
4. MXFP8 + DeepEP 加速 DeepSeek-V3 预训练提速最高 41%
来源: PyTorch Blog | 标签: 预训练, MXFP8, MoE, B200
PyTorch 与 Nebius 联合工作,在 256-GPU NVIDIA B200 集群上使用 TorchTitan 训练 DeepSeek-V3 MoE 模型(16B 和 671B),结合 MXFP8 混合精度和 DeepEP 专家并行通信,实现预训练加速最高 41%。
🔗 原文链接
5. TorchInductor CuteDSL 后端:生成顶级 GEMM 实现
来源: PyTorch Blog | 标签: 编译器, GEMM, TorchInductor, CuteDSL
TorchInductor 新增 CuteDSL 作为第四个矩阵乘法自动调优后端(此前已有 Triton、CUTLASS C++、cuBLAS),通过 DSL 描述 tile 计算模式,自动生成接近手工 SOTA 水准的 GEMM kernel。
🔗 原文链接
6. 优化 Meta 内部推荐排序模型的有效训练时长
来源: PyTorch Blog | 标签: 分布式训练, 推荐系统, 训练效率
Meta 工程团队分享在大规模推荐/排序模型训练中优化有效训练时间(ETC)的实践:通过减少设备空闲、故障恢复加速和混合并行策略,在紧张的算力预算下提升 ROI。
🔗 原文链接
7. 随机 KV 路由:自适应跨层 KV Cache 共享
来源: arXiv cs.LG | 标签: KV Cache, 推理加速, 内存优化
提出 Stochastic KV Routing 方案,允许 transformer 不同深度的层之间自适应地共享 Key-Value 缓存,在保持模型质量的同时显著降低 KV Cache 内存占用,提升高吞吐推理场景的效率。
🔗 原文链接
评论