每日精选: 今日从 PyTorch Blog、HuggingFace Blog 精选 7 篇深度技术文章,聚焦训练优化、量化推理与分布式系统。
优化 Meta 内部推荐/排名模型的有效训练时间
来源: PyTorch Blog 分布式训练推荐系统训练效率
探讨在紧张算力预算下提升大规模推荐模型 ROI 的系统优化策略,涵盖训练效率与调度优化。
Blackwell GPU 上的快速扩散:MXFP8 与 NVFP4 量化
来源: PyTorch Blog 量化推理CUDA/GPU扩散模型
在 NVIDIA Blackwell GPU 上通过 MXFP8 和 NVFP4 量化加速扩散模型推理,结合 TorchAO 实现显存与吞吐量的双重优化。
Monarch:超算集群的统一编程 API
来源: PyTorch Blog 分布式训练并行计算系统架构
PyTorch 推出 Monarch,为大规模分布式训练任务提供统一的超算接口,简化复杂拓扑(流水线并行、张量并行等)的编排。
DeepSeek-V3 在 B200 上预训练提速 41%:MXFP8 + DeepEP
来源: PyTorch Blog MoE训练MXFP8量化B200/Blackwell
PyTorch 与 Nebius 联合,在 256 块 B200 GPU 上用 MXFP8 精度 + DeepEP 专家并行,将 DeepSeek-V3 MoE(671B)预训练速度提升 41%。
PyTorch 2.11 发布:可微编译器与新量化特性
来源: PyTorch Blog PyTorch发布编译器量化
PyTorch 2.11 正式发布,包含 Differentiable Compiler 等核心特性更新,进一步强化 torch.compile 与量化流水线。
TRL v1.0:随领域演进的后训练库
来源: HuggingFace Blog RLHF后训练SFT/DPO
TRL(Transformers Reinforcement Learning)发布 v1.0,统一 SFT/RLHF/DPO/PPO 后训练流程,API 更稳定,支持更多模型与训练范式。
Safetensors 正式加入 PyTorch 基金会
来源: HuggingFace Blog 模型格式生态标准安全性
HuggingFace 的安全张量格式 Safetensors 正式进入 PyTorch 生态基金会,成为模型权重交换的标准格式,提升安全性与互操作性。
评论