← Reading List
📰 技术速递

分布式训练、极致量化与推理加速新进展

Tech多源前沿

📰 2026-11-01 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 大规模训练平台、GPU 算子加速、MLIR 数据流编译器、极致量化压缩与推理服务优化。


1. TorchTitan 更新:新 SOTA 模型、规模性能与 TitanRL

来源:PyTorch
链接:https://pytorch.org/blog/torchtitan-update-new-sota-models-performance-at-scale-titanrl/
标签:分布式训练 · 大规模预训练 · RL后训练 · FSDP2 · 模型支持

TorchTitan 是 PyTorch 原生的生成式 AI 大规模预训练/后训练实验平台,本次更新在保持精简、可扩展设计的同时落地了大量能力增强。新增对 Muse Spark Open、Muse Glimmer、Qwen3-VL、Qwen3.5、Kimi K2.7 等开放权重 SOTA 架构的原生支持,并显著提升了开箱即用的大规模训练吞吐。

核心要点:

  • 原生支持多款最新开放权重架构,覆盖文本与多模态模型
  • 大规模训练开箱即用性能获得明显提升,便于从单机小模型平滑扩展到集群
  • 新增 RL 后训练(TitanRL)支持与新的通信特性,强化训练框架闭环

2. FlyDSL 加速 AMD MI350 系列 GPU 上的 PyTorch

来源:PyTorch
链接:https://pytorch.org/blog/accelerating-pytorch-on-amd-gpus-with-flydsl/
标签:AMD GPU · GEMM · 注意力内核 · MXFP8/MXFP4 · 算子加速

PyTorch 用户在 AMD MI350 系列 GPU 上可通过现有算子 API 调用 FlyDSL,无需改写自定义 kernel 即可获得 dense/grouped GEMM、融合多头注意力(FMHA)、MXFP8/MXFP4 scaled GEMM、RMSNorm 与 TopK 的加速。该后端通过 torch.compile 提供 GEMM 支持,并在可用时自动派发 RMSNorm 与 TopK,不支持的输入则回退到既有实现。

核心要点:

  • dense GEMM 15-shape BF16 套件几何均值提速 1.10x,MXFP8/MXFP4 分别达 1.58x / 1.68x
  • grouped-GEMM 相对 Triton 几何均值 1.20x,RMSNorm 22 例 1.17x–3.66x
  • 注意力内核作为 AOTriton 后端随 0.14b 系列提供,端到端 vLLM A/B 测试有正向收益

3. 从 KTIR 到 SpyreCode:IBM Spyre 加速器的 MLIR 数据流后端

来源:PyTorch
链接:https://pytorch.org/blog/from-ktir-to-spyrecode-an-mlir-dataflow-backend-for-ibm-spyre/
标签:MLIR · 编译器后端 · 数据流调度 · 硬件加速 · Inductor

本文介绍 torch-spyre 编译器后端如何把 Inductor 的布局/分块/Scratchpad 决策转化为可执行的硬件程序。其核心是一套基于数据并行视图的 MLIR 中间表示 KTIR,以及消费 KTIR 的 Dataflow Scheduler:它将 kernel 拆分为 load→compute→store 流水线,经内存层级路由后展开为嵌套、双缓冲、多实例的调度,输出 DataflowIR,最终生成 SpyreCode 符号二进制与作业计划。

核心要点:

  • KTIR 以数据并行视图描述加速器,单个逻辑张量可跨多核 Scratchpad 分布
  • Dataflow Scheduler 将 tile 工作编译为双缓冲、多实例的数据流流水线
  • 输出 SpyreCode + job plan,运行时一次准备、多次启动,仅填充张量地址与形状

4. 将 LLM 微调到 1.58bit:极致量化实战

来源:HuggingFace
链接:https://huggingface.co/blog/1_58_llm_extreme_quantization
标签:1.58bit量化 · BitNet · 低比特训练 · 推理降本 · 内核基准

标准量化通常将参数从 FP16/FP32 降到 8bit/4bit,但精度损失明显。BitNet 以 (-1, 0, 1) 三值表示参数,实现仅 1.58bit/参数的极致量化,但需要从头预训练。本文探索了把已有模型微调到 1.58bit 的技巧,使没有预训练预算的团队也能享受极端量化带来的内存与算力收益,并给出所用 kernel 与基准测试。

核心要点:

  • 1.58bit 量化用三值 (-1, 0, 1) 表示权重,大幅降低存储与计算成本
  • 提出在现成模型上微调(而非从头训练)到 1.58bit 的实用方案
  • 配套给出自定义 kernel 与 benchmark,便于复现与落地

5. KV Cache 量化:释放更长文本生成

来源:HuggingFace
链接:https://huggingface.co/blog/kv-cache-quantization
标签:KV Cache · 长上下文 · 推理内存 · 量化 · 生成优化

自回归生成需要维护 Key-Value Cache 以复用历史计算结果,长文本生成时该缓存会迅速吃满显存。KV Cache Quantization 通过对缓存进行量化,在几乎不损失生成质量的前提下显著降低内存占用,并提供内存效率与生成速度之间可自定义的权衡。

核心要点:

  • KV Cache 量化在长上下文生成中大幅降低显存占用
  • 对生成质量影响极小,可按需调节内存/速度取舍
  • 直接缓解长序列推理的显存瓶颈,提升单卡可生成长度

6. Native-speed vLLM Transformers 后端:免移植高速推理

来源:HuggingFace
链接:https://huggingface.co/blog/native-speed-vllm-transformers-backend
标签:vLLM · 推理后端 · 连续批处理 · 模型移植 · 推理加速

Transformers 作为参考建模库支持 450+ 架构,去年已作为建模后端集成进 vLLM,让模型作者免移植即可在 vLLM 中运行。本次升级后,Transformers vLLM 后端在多个架构上达到甚至超过 vLLM 手写原生实现的性能,模型作者可自动复用其 Transformers 实现获得连续批处理与自定义注意力内核的极致推理速度。

核心要点:

  • Transformers 后端在 Qwen3 系列上与手写原生 vLLM 实现持平或更优
  • 覆盖 4B dense 单卡、32B 张量并行、235B FP8 MoE 数据+专家并行等场景
  • 模型作者无需 port 代码即可获得 vLLM 的连续批处理与优化内核

7. Accelerate ND-Parallel:高效多 GPU 训练并行策略指南

来源:HuggingFace
链接:https://huggingface.co/blog/accelerate-nd-parallel
标签:多GPU训练 · 并行策略 · FSDP · 设备网格 · Accelerate

在多个 GPU 上训练大模型常受困于繁杂的并行策略组合。Accelerate 与 Axolotl 集成,提供在训练脚本中快速组合任意并行策略(数据并行、张量并行、上下文并行、FSDP 分片并行)的方式,并通过 ParallelismConfig 与 device mesh 统一描述,降低分布式训练的接入门槛。

核心要点:

  • 用 ParallelismConfig 一行配置组合 DP / TP / CP / FSDP 多种并行
  • 配合 FullyShardedDataParallelPlugin 与 device_mesh 完成模型切分
  • 官方提供端到端示例脚本,覆盖 dataloader、optimizer 与训练循环

📊 今日速览

# 标题摘要 来源 方向
1 TorchTitan:大规模训练平台与 TitanRL PyTorch 大规模训练平台
2 FlyDSL 加速 AMD MI350 GPU 算子 PyTorch GPU 算子加速
3 KTIR→SpyreCode:IBM Spyre MLIR 编译器 PyTorch MLIR 编译器
4 LLM 微调到 1.58bit 极致量化 HuggingFace 量化压缩
5 KV Cache 量化释放长文本生成 HuggingFace 推理内存优化
6 Native-speed vLLM Transformers 后端 HuggingFace 推理服务
7 Accelerate ND-Parallel 多 GPU 训练 HuggingFace 分布式训练

自动生成 · 2026-11-01 · jeffinchen daily tech reading list

评论