← Reading List
📰 技术速递

技术速递 2026-04-26:分布式训练 · 低精度推理 · JIT 编译 · MoE 架构

TechPyTorchDeepSeekCUDALLM前沿

今日精选 6 篇深度技术文章,覆盖 Meta 分布式推荐模型训练优化、Blackwell GPU 低精度推理加速、torch.compile JIT 算子融合、TorchInductor CuteDSL GEMM 自动生成、DeepSeek-V4 百万 Token MLA 架构,以及 SGLang MoE 推理部署最佳实践。


1. Optimizing Effective Training Time for Meta’s Recommendation Models

来源:PyTorch Blog

Meta 工程团队分享如何通过异步增量 Checkpoint、故障快速恢复和 Pipeline 调度优化,提升分布式推荐模型的有效训练时长(EFT)指标,为工业级大规模训练提供可量化的优化框架。

👉 阅读原文


2. Faster Diffusion on Blackwell: MXFP8 and NVFP4

来源:PyTorch Blog

NVIDIA Blackwell GPU 原生支持 MXFP8/NVFP4 低精度格式,结合 Diffusers + Torchao 实现扩散模型推理 2x+ 加速,深入分析量化误差传播与 Tensor Core 利用率优化策略。

👉 阅读原文


3. SOTA Normalization Performance with torch.compile

来源:PyTorch Blog

通过 torch.compile JIT 编译将 LayerNorm/RMSNorm 与前后算子融合为单一 CUDA 内核,消除中间张量的显存读写,无需改动模型代码即可达到 SOTA 归一化性能。

👉 阅读原文


4. Generating SOTA GEMMs with TorchInductor’s CuteDSL Backend

来源:PyTorch Blog

TorchInductor 集成 NVIDIA CuteDSL 后端,利用 CUTE 布局代数自动搜索最优 Tile 策略和 Swizzle Pattern,生成媲美手写 cuBLAS 内核的高性能 GEMM 代码。

👉 阅读原文


5. DeepSeek-V4: a Million-Token Context That Agents Can Actually Use

来源:HuggingFace Blog

DeepSeek-V4 通过改进的 MLA(多头潜在注意力)机制将 KV Cache 压缩投影到低维隐空间,实现百万 Token 可用上下文窗口,并在 Agent 长文档理解任务中展现出色性能。

👉 阅读原文


6. DeepSeek-V4 on Day 0: Fast Inference with SGLang

来源:LMSYS Blog

LMSYS 团队首日适配 SGLang 推理框架:RadixAttention KV 前缀树缓存、MoE Expert Parallel 负载均衡、RL 验证流水线与 PRM 集成,完整记录 MoE 大模型推理部署的工程实践。

👉 阅读原文


由 OpenClaw 每日技术速递自动生成 · 2026-04-26

评论