← Reading List
📰 技术速递

Mojo 编译器解耦设计、训练并行策略与推理系统实践

Tech多源前沿

📰 2026-04-19 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖编程语言编译器设计、大规模训练并行、通信优化与推理系统。


1. Modular:面向 AI 的高性能编程语言与编译器栈

来源:Modular 官方文档(Mojo 语言) 链接:https://docs.modular.com/mojo/ 标签:编程语言 · 编译器 · MLIR · GPU · 异构计算

Mojo 系统性地讨论了如何把 Python 生态的易用性与系统级语言的性能解耦:通过 MLIR 多层 IR、参数化编译与原生 GPU 支持构建现代 AI 编译栈。对于关注”AI 编译器向何处去”的读者,这篇报告给出了语言层、编译器层、运行时层的完整蓝图。

核心要点:

  • 语言设计与编译器基础设施(MLIR)协同演进
  • 单一语言栈覆盖 CPU/GPU 异构编程,降低算子开发门槛
  • 可组合的优化层次让 kernel 性能逼近手写 CUDA

2. Megatron-LM:训练 Multi-Billion 参数语言模型使用模型并行

来源:arXiv cs.CL(SC’20 经典论文) 链接:https://arxiv.org/abs/1909.08053 标签:模型并行 · 张量并行 · 大规模训练 · Transformer

张量并行的开山之作:Megatron-LM 通过将 Transformer 的注意力与 MLP 层按列/行切分,将矩阵乘法分解为多个独立块,使张量并行只需在每层前后做两次 All-Reduce。今天所有大模型训练框架(Megatron、DeepSpeed、PyTorch FSDP 生态)的并行策略都可追溯到这篇论文。

核心要点:

  • 注意力头与 MLP 按计算图切分,最小化通信原语
  • 张量并行只需每层 2 次 All-Reduce,通信量分析清晰
  • 与数据并行/流水线正交组合,构成今天 4D 并行的基础

3. Llama 3 训练基础设施:高效并行策略扩展至 1.6 万 GPU

来源:ACM SC’24(Meta 系统论文) 链接:https://dl.acm.org/doi/10.1145/3695053.3731410 标签:4D 并行 · 集群训练 · 容错 · 通信优化

Meta 公开的 Llama 3 训练实践,是工业界最有含金量的集群训练复盘:4D 并行组合(TP×CP×PP×DP)、集群级容错与 checkpoint 策略、集合通信优化与 GPU 故障率统计。每一条经验都来自 16k GPU 连续数月的真实运行。

核心要点:

  • 4D 并行的组合逻辑与各维度的适用规模
  • 大规模集群的故障频率、检测与自动恢复机制
  • 集合通信库优化与网络拓扑协同设计

4. ZeroQuant:高效且可负担的大模型推理量化方案

来源:arXiv cs.CL(DeepSpeed 量化论文) 链接:https://arxiv.org/abs/2206.01861 标签:量化 · 推理加速 · INT8 · Kernel 融合

ZeroQuant 提出细粒度硬件感知量化(per-token/per-group scaling)与 Kernel 融合策略,把 W8A8 量化推理落到真实加速比。它是”量化必须与内核实现协同设计”这一工程共识的早期奠基工作,对理解今天 FP8/INT4 内核生态的演化很有帮助。

核心要点:

  • Token-wise 激活量化缓解 outlier 问题
  • 量化 GEMM 与偏置/激活融合进单内核减少访存
  • 逐层知识蒸馏恢复量化精度损失

5. SGLang:面向复杂语言模型程序的高效执行

来源:arXiv cs.CL(NeurIPS’24 系统论文) 链接:https://arxiv.org/abs/2312.07104 标签:推理引擎 · RadixAttention · 前缀缓存 · 结构化生成

SGLang 的核心贡献 RadixAttention 用基数树管理跨请求的前缀 KV Cache 自动复用,配合结构化生成语言 DSL,让多轮对话、Few-shot、Agent 类负载的推理成本大幅下降。它是 2025-2026 年与 vLLM 并驾齐驱的主流推理引擎,也是理解前缀缓存路线的代表作。

核心要点:

  • RadixAttention:前缀树管理 KV Cache,自动命中共享前缀
  • 嵌入式 DSL 简化 Agent/结构化生成程序的编写
  • 前缀复用 + 连续批处理叠加带来数倍吞吐提升

6. Raft:可理解的共识算法

来源:Raft 官网(USENIX ATC’14 论文) 链接:https://raft.github.io/raft.pdf 标签:分布式系统 · 一致性 · 可用性 · 理论

Raft 围绕”可理解性”重新设计共识算法:把问题分解为 leader 选举、日志复制与安全性三个相对独立的子问题,减少状态空间。

核心要点:

  • Leader 选举与日志复制的解耦式设计
  • 强领导者模型简化一致性推理,成员变更的联合共识
  • 在 KV 存储/元数据服务中的工业级落地

📊 今日速览

# 标题摘要 来源 方向
1 Modular:面向 AI 的高性能编程语言与编译器栈 arXiv cs.PL 编译器
2 Megatron-LM:Multi-Billion 参数语言模型的模型并行训练 arXiv cs.CL 模型并行
3 Llama 3 训练基础设施:高效并行策略扩展至 1.6 万 GPU ACM SC’24 集群训练
4 ZeroQuant:高效且可负担的大模型推理量化方案 arXiv cs.CL 量化
5 SGLang:面向复杂语言模型程序的高效执行 arXiv cs.CL 推理引擎
6 Raft:可理解的共识算法 USENIX ATC’14 分布式系统

自动生成 · 2026-04-19 · jeffinchen daily tech reading list

评论