← Reading List
📰 技术速递

Megatron 上下文并行、GQA 架构演进与 NeurIPS 系统论文精选

Tech多源前沿

📰 2026-05-04 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖长上下文并行训练、注意力架构演进、推理调度与分布式计算。


1. Ring Attention:长上下文 Transformer 的分块计算

来源:arXiv cs.LG(Berkeley/Stanford 论文) 链接:https://arxiv.org/abs/2310.01889 标签:上下文并行 · Ring Attention · 长上下文 · 集合通信

Ring Attention 将长序列的注意力计算与 KV 分块放置到多设备,沿环传递分块 KV,并把分块计算与通信重叠,使可训练上下文长度随设备数扩展——单机上无法容纳的百万级上下文由此变为可能。它与 Megatron Context Parallelism 一脉相承,是今天超长上下文训练的标准配置。

核心要点:

  • 序列维分块放置激活,KV 块沿设备环流动避免全量复制
  • 分块计算与通信重叠,掩藏跨设备传输
  • 与 TP/PP/DP 组合,支撑超长序列的万卡训练

2. GQA:通过分组查询注意力训练泛化更好的 Transformer

来源:arXiv cs.CL(EMNLP’23 论文) 链接:https://arxiv.org/abs/2305.13245 标签:注意力机制 · KV Cache · 推理效率 · 架构设计

GQA 在 MHA 与 MQA 之间取折中:多个查询头共享一组 KV 头,大幅压缩 KV Cache 显存与解码访存,同时保留接近 MHA 的质量。Llama 2/3、Qwen、Mistral 等主流开源模型全面采用 GQA,这篇论文解释了”为什么它是 2026 年推理架构的默认选择”。

核心要点:

  • KV 头数作为质量-效率的连续旋钮(MHA → GQA → MQA)
  • KV Cache 缩小数倍,解码吞吐显著提升
  • 上游检查点可通过 mean-pooling 低成本转换为 GQA

3. SLO 化的 LLM 服务调度:预填充与解码分离

来源:arXiv cs.DC(DistServe/论文) 链接:https://arxiv.org/abs/2401.09670 标签:PD 分离 · SLO · 推理服务 · 调度

Prefill(计算密集)与 Decode(访存密集)两个阶段在批处理与资源需求上截然不同,混部会互相干扰。DistServe 将两阶段解耦到独立资源池并行执行,按 SLO(TTFT/TBOT)做联合优化部署,是 2025-2026 年推理集群广泛采用的 PD 分离架构的理论源头之一。

核心要点:

  • 阶段间干扰分析:prefill 拉高 decode 尾延迟的机制
  • PD 分离 + 每副本独立并行策略,SLO 达标率数量级提升
  • 给出 KV Cache 传输成本与分离收益的定量权衡

4. DistilBERT:蒸馏版 BERT 的规模化方案

来源:arXiv cs.CL(NeurIPS’19 经典) 链接:https://arxiv.org/abs/1910.08229 标签:知识蒸馏 · 模型压缩 · 小模型 · 训练技巧

DistilBERT 用三层损失(语言建模 + 蒸馏 + 余弦)把 BERT 压缩 40%、提速 60%,保持 97% 的能力。它定义了”小模型 + 大模型 logits 蒸馏”的标准配方,对今天端侧小模型(如 1B 级助手模型)的后训练流程依然是重要参考。

核心要点:

  • 蒸馏损失设计:软标签温度与隐层对齐的组合
  • 初始化技巧:取教师模型部分层作为学生初始化
  • 蒸馏后的 token 化与部署全流程开源

5. Mesos:数据中心资源共享平台

来源:NSDI’11 经典论文(Berkeley) 链接:https://www.usenix.org/legacy/event/nsdi11/tech/full_papers/Hindman.pdf 标签:资源调度 · 数据中心 · 集群管理 · 系统经典

GPU 集群共享调度的思想源头之一。Mesos 提出两级调度(framework offer 资源协商),允许多个计算框架共享集群资源,避免静态分区。今天 K8s 生态里的 gang scheduling、多队列 GPU 分配器仍在沿用这套思想,是理解”算力平台如何做资源隔离”的经典。

核心要点:

  • 两级调度:资源 offer 与 framework 接受/拒绝的协商机制
  • 细粒度共享提升整体利用率,避免框架间静态配额
  • 隔离性与故障恢复的设计取舍

6. Mooncake:以 KV Cache 为中心的 LLM 服务集群

来源:arXiv cs.DC(Mooncake 论文) 链接:https://arxiv.org/abs/2407.00079 标签:注意力 · IO 优化 · GPU · 算子

Mooncake 是月之暗面 Kimi 的服务底座:把 KV Cache 当作集群全局资源,由 KVCache-centric 调度器最大化跨请求复用,并用全局 KV 池支撑 PD 分离与过载降级。在真实生产负载上验证的它,是 KV 中心化架构路线最有说服力的系统论文。

核心要点:

  • KV 亲和性调度:多轮会话的前缀复用最大化
  • prefill/decode 资源池的动态比例调节
  • 过载时的 SLO-aware 降级与请求准入控制

📊 今日速览

# 标题摘要 来源 方向
1 Ring Attention:长上下文 Transformer 的分块计算 arXiv cs.LG 长上下文
2 GQA:分组查询注意力训练泛化更好的 Transformer arXiv cs.CL 注意力机制
3 SLO 化的 LLM 服务调度:预填充与解码分离 arXiv cs.DC PD 分离
4 DistilBERT:蒸馏版 BERT 的规模化方案 arXiv cs.CL 知识蒸馏
5 Mesos:数据中心资源共享平台 NSDI’11 资源调度
6 Mooncake:以 KV Cache 为中心的 LLM 服务集群 arXiv cs.DC KV 中心化

自动生成 · 2026-05-04 · jeffinchen daily tech reading list

评论