← Reading List
📰 技术速递

技术速递 2026-04-27:训练提速 x 量化推理 x 分布式系统

Tech多源前沿

每日精选: 今日从 PyTorch Blog、HuggingFace Blog 精选 7 篇深度技术文章,聚焦训练优化、量化推理与分布式系统。

优化 Meta 内部推荐/排名模型的有效训练时间

来源: PyTorch Blog     分布式训练 推荐系统 训练效率

探讨在紧张算力预算下提升大规模推荐模型 ROI 的系统优化策略,涵盖训练效率与调度优化。

Blackwell GPU 上的快速扩散:MXFP8 与 NVFP4 量化

来源: PyTorch Blog     量化推理 CUDA/GPU 扩散模型

在 NVIDIA Blackwell GPU 上通过 MXFP8 和 NVFP4 量化加速扩散模型推理,结合 TorchAO 实现显存与吞吐量的双重优化。

Monarch:超算集群的统一编程 API

来源: PyTorch Blog     分布式训练 并行计算 系统架构

PyTorch 推出 Monarch,为大规模分布式训练任务提供统一的超算接口,简化复杂拓扑(流水线并行、张量并行等)的编排。

DeepSeek-V3 在 B200 上预训练提速 41%:MXFP8 + DeepEP

来源: PyTorch Blog     MoE训练 MXFP8量化 B200/Blackwell

PyTorch 与 Nebius 联合,在 256 块 B200 GPU 上用 MXFP8 精度 + DeepEP 专家并行,将 DeepSeek-V3 MoE(671B)预训练速度提升 41%。

PyTorch 2.11 发布:可微编译器与新量化特性

来源: PyTorch Blog     PyTorch发布 编译器 量化

PyTorch 2.11 正式发布,包含 Differentiable Compiler 等核心特性更新,进一步强化 torch.compile 与量化流水线。

TRL v1.0:随领域演进的后训练库

来源: HuggingFace Blog     RLHF 后训练 SFT/DPO

TRL(Transformers Reinforcement Learning)发布 v1.0,统一 SFT/RLHF/DPO/PPO 后训练流程,API 更稳定,支持更多模型与训练范式。

Safetensors 正式加入 PyTorch 基金会

来源: HuggingFace Blog     模型格式 生态标准 安全性

HuggingFace 的安全张量格式 Safetensors 正式进入 PyTorch 生态基金会,成为模型权重交换的标准格式,提升安全性与互操作性。

评论