📰 2026-04-19 · 每日技术速递
今日精选 6 篇深度技术文章,覆盖编程语言编译器设计、大规模训练并行、通信优化与推理系统。
1. Modular:面向 AI 的高性能编程语言与编译器栈
来源:Modular 官方文档(Mojo 语言) 链接:https://docs.modular.com/mojo/ 标签:编程语言 · 编译器 · MLIR · GPU · 异构计算
Mojo 系统性地讨论了如何把 Python 生态的易用性与系统级语言的性能解耦:通过 MLIR 多层 IR、参数化编译与原生 GPU 支持构建现代 AI 编译栈。对于关注”AI 编译器向何处去”的读者,这篇报告给出了语言层、编译器层、运行时层的完整蓝图。
核心要点:
- 语言设计与编译器基础设施(MLIR)协同演进
- 单一语言栈覆盖 CPU/GPU 异构编程,降低算子开发门槛
- 可组合的优化层次让 kernel 性能逼近手写 CUDA
2. Megatron-LM:训练 Multi-Billion 参数语言模型使用模型并行
来源:arXiv cs.CL(SC’20 经典论文) 链接:https://arxiv.org/abs/1909.08053 标签:模型并行 · 张量并行 · 大规模训练 · Transformer
张量并行的开山之作:Megatron-LM 通过将 Transformer 的注意力与 MLP 层按列/行切分,将矩阵乘法分解为多个独立块,使张量并行只需在每层前后做两次 All-Reduce。今天所有大模型训练框架(Megatron、DeepSpeed、PyTorch FSDP 生态)的并行策略都可追溯到这篇论文。
核心要点:
- 注意力头与 MLP 按计算图切分,最小化通信原语
- 张量并行只需每层 2 次 All-Reduce,通信量分析清晰
- 与数据并行/流水线正交组合,构成今天 4D 并行的基础
3. Llama 3 训练基础设施:高效并行策略扩展至 1.6 万 GPU
来源:ACM SC’24(Meta 系统论文) 链接:https://dl.acm.org/doi/10.1145/3695053.3731410 标签:4D 并行 · 集群训练 · 容错 · 通信优化
Meta 公开的 Llama 3 训练实践,是工业界最有含金量的集群训练复盘:4D 并行组合(TP×CP×PP×DP)、集群级容错与 checkpoint 策略、集合通信优化与 GPU 故障率统计。每一条经验都来自 16k GPU 连续数月的真实运行。
核心要点:
- 4D 并行的组合逻辑与各维度的适用规模
- 大规模集群的故障频率、检测与自动恢复机制
- 集合通信库优化与网络拓扑协同设计
4. ZeroQuant:高效且可负担的大模型推理量化方案
来源:arXiv cs.CL(DeepSpeed 量化论文) 链接:https://arxiv.org/abs/2206.01861 标签:量化 · 推理加速 · INT8 · Kernel 融合
ZeroQuant 提出细粒度硬件感知量化(per-token/per-group scaling)与 Kernel 融合策略,把 W8A8 量化推理落到真实加速比。它是”量化必须与内核实现协同设计”这一工程共识的早期奠基工作,对理解今天 FP8/INT4 内核生态的演化很有帮助。
核心要点:
- Token-wise 激活量化缓解 outlier 问题
- 量化 GEMM 与偏置/激活融合进单内核减少访存
- 逐层知识蒸馏恢复量化精度损失
5. SGLang:面向复杂语言模型程序的高效执行
来源:arXiv cs.CL(NeurIPS’24 系统论文) 链接:https://arxiv.org/abs/2312.07104 标签:推理引擎 · RadixAttention · 前缀缓存 · 结构化生成
SGLang 的核心贡献 RadixAttention 用基数树管理跨请求的前缀 KV Cache 自动复用,配合结构化生成语言 DSL,让多轮对话、Few-shot、Agent 类负载的推理成本大幅下降。它是 2025-2026 年与 vLLM 并驾齐驱的主流推理引擎,也是理解前缀缓存路线的代表作。
核心要点:
- RadixAttention:前缀树管理 KV Cache,自动命中共享前缀
- 嵌入式 DSL 简化 Agent/结构化生成程序的编写
- 前缀复用 + 连续批处理叠加带来数倍吞吐提升
6. Raft:可理解的共识算法
来源:Raft 官网(USENIX ATC’14 论文) 链接:https://raft.github.io/raft.pdf 标签:分布式系统 · 一致性 · 可用性 · 理论
Raft 围绕”可理解性”重新设计共识算法:把问题分解为 leader 选举、日志复制与安全性三个相对独立的子问题,减少状态空间。
核心要点:
- Leader 选举与日志复制的解耦式设计
- 强领导者模型简化一致性推理,成员变更的联合共识
- 在 KV 存储/元数据服务中的工业级落地
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | Modular:面向 AI 的高性能编程语言与编译器栈 | arXiv cs.PL | 编译器 |
| 2 | Megatron-LM:Multi-Billion 参数语言模型的模型并行训练 | arXiv cs.CL | 模型并行 |
| 3 | Llama 3 训练基础设施:高效并行策略扩展至 1.6 万 GPU | ACM SC’24 | 集群训练 |
| 4 | ZeroQuant:高效且可负担的大模型推理量化方案 | arXiv cs.CL | 量化 |
| 5 | SGLang:面向复杂语言模型程序的高效执行 | arXiv cs.CL | 推理引擎 |
| 6 | Raft:可理解的共识算法 | USENIX ATC’14 | 分布式系统 |
自动生成 · 2026-04-19 · jeffinchen daily tech reading list
评论