今日精选 7 篇深度技术文章,覆盖 MoE 大模型架构、混合注意力机制、KV 缓存压缩、MoE 推理加速、LLM 层间稀疏化、万亿参数低延迟推理、Google TPU 五代演进。
1. Nemotron 3 Ultra:开放高效的 MoE 混合 Mamba-Transformer 大模型
来源:cs.CL / arXiv
链接:https://arxiv.org/abs/2606.15007
标签:MoE · Mamba · Transformer · 大模型训练 · 推理加速
NVIDIA 发布 Nemotron 3 Ultra,一个 550B 参数(55B 激活)的混合 Mamba-Attention MoE 大模型。模型在 15 万亿 token 上预训练,后训练针对 Agent 推理能力强化优化。混合 Mamba-Attention 架构兼顾长序列效率与推理能力,对 MoE 系统设计具有重要参考价值。
核心要点:
- 550B 总参数 / 55B 激活,MoE 结构降低推理 FLOPs
- 引入 Mamba SSM 层替代部分 Attention,提升长序列效率
- 15 万亿 token 预训练 + Agentic 后训练,强化多步推理
- 开放权重,支持社区复现与下游研究
2. Ling and Ring 2.6 技术报告:万亿参数规模的高效即时 Agent 智能
来源:cs.CL / arXiv
链接:https://arxiv.org/abs/2606.15079
标签:万亿参数 · 推理延迟 · TTFT · Agent · 推理优化
Ling and Ring 2.6 技术报告,专注于万亿参数规模下实现低延迟(sub-second TTFT)与强推理能力的协同。报告详述训练配方与推理优化路径,目标是在保持成本效益的前提下支持复杂 Agent 任务。对工业级大模型部署有直接参考意义。
核心要点:
- 万亿参数规模下实现毫秒级 TTFT,突破推理延迟瓶颈
- 训练与推理协同优化,降低部署成本
- 面向 Agentic 任务设计,支持多轮复杂推理
- 提供完整技术报告,涵盖训练配方与评估基准
3. 超越层重要性的层间稀疏化:扰动吸收视角下的 LLM 压缩
来源:cs.CL / arXiv
链接:https://arxiv.org/abs/2606.15161
标签:LLM压缩 · 结构化剪枝 · 层间稀疏 · 模型压缩
针对 LLM 层间稀疏分配问题,本文提出扰动-吸收框架(Perturbation-Absorption),系统建模剪枝误差在层间传播与被吸收的机制。相比仅考虑单层重要性的方法,该框架能更准确指导非均匀稀疏率分配,在相同压缩比下显著降低精度损失。
核心要点:
- 提出层间扰动吸收框架,建模剪枝误差传播链
- 非均匀稀疏分配策略超越单层重要性指标
- 在多个 LLM(LLaMA 等)上验证压缩效果提升
- 为后训练结构化剪枝提供新的理论视角
4. 重新审视混合架构中高效注意力机制的角色
来源:cs.CL / arXiv
链接:https://arxiv.org/abs/2606.15378
标签:混合架构 · 滑窗注意力 · 线性注意力 · SSM · 架构设计
系统研究混合架构中高效注意力(滑窗注意力、线性注意力、SSM)的实际作用。通过消融实验分析不同位置、比例的高效注意力对语言建模能力的影响,揭示何时高效注意力有益或有害,为设计下一代混合大模型提供实证指导。
核心要点:
- 系统消融混合架构中高效注意力的位置与比例
- 发现高效注意力在不同层深度的作用存在显著差异
- 提供混合架构设计的实证最优配置建议
- 对 Mamba/RWKV 等 SSM 混合模型设计有直接指导价值
5. PolyKV:面向 KV 缓存压缩的异构保留与分配策略
来源:cs.LG / arXiv
链接:https://arxiv.org/abs/2606.15157
标签:KV Cache · 推理内存优化 · 长上下文 · 注意力压缩
PolyKV 提出异构 KV 缓存压缩方案,突破现有方法对所有 attention head 和层使用统一策略的局限。通过按头、按层动态分配 KV 保留预算,在相同内存约束下显著提升长上下文推理精度。对长上下文 LLM 服务部署(如 64K+ token)有重要工程价值。
核心要点:
- 异构保留策略:不同 head/layer 分配不同 KV 压缩比
- 动态预算分配基于注意力重要性评分
- 在长上下文基准上优于 H2O、SnapKV 等已有方法
- 内存节省可达 70%+ 同时保持推理质量
6. 面向 MoE 大模型高效推理的时空专家预取框架
来源:cs.AR / arXiv
链接:https://arxiv.org/abs/2606.15453
标签:MoE推理 · 专家预取 · 硬件加速 · DeepSeek · 离片存储
针对 Qwen/DeepSeek 等 MoE 大模型推理中专家权重离片加载延迟高的问题,提出时空专家预取框架。利用专家激活的时序相关性和空间局部性,提前将下一步所需专家加载至片上缓存,显著降低 MoE 推理延迟。对大规模 MoE 模型(如 DeepSeek-V3)的服务部署有直接价值。
核心要点:
- 利用专家激活的时序相关性预测下一轮激活专家
- 空间局部性感知:相邻 token 专家选择倾向聚集
- 框架可叠加于现有 MoE 推理引擎(vLLM 等)
- 端到端延迟降低 30%+,适用于 DeepSeek/Qwen 等模型
7. Google TPU v2 到 Ironwood:五代训练超算的架构演进与工程经验
来源:cs.AR / arXiv
链接:https://arxiv.org/abs/2606.15870
标签:TPU · 硬件架构 · 分布式训练 · Google · 超算
IEEE Micro 2026年度重磅文章,系统回顾 Google 从 TPU v2 到 Ironwood 五代训练超算的架构演进。揭示跨代架构稳定性(矩阵乘单元 + HBM + 高速互联核心不变)与规模化策略,以及在 Pod 级别处理故障容错和韧性的工程经验,为理解 AI 训练基础设施发展提供第一手资料。
核心要点:
- 五代 TPU 架构演进:MXU 核心稳定,HBM/互联带宽指数增长
- Ironwood 首次引入片间光互联,Pod 规模突破 PFlop/s 量级
- 大规模训练容错机制:故障检测、快速重启、梯度保护
- 架构稳定性降低软件迁移成本,支持 JAX/XLA 生态延续性
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | Nemotron 3 Ultra:开放高… | cs.CL | MoE / 大模型架构 |
| 2 | Ling and Ring 2.6 技术… | cs.CL | 推理加速 / 大模型部署 |
| 3 | 超越层重要性的层间稀疏化:扰动吸收视角下… | cs.CL | 模型压缩 / 结构化剪枝 |
| 4 | 重新审视混合架构中高效注意力机制的角色 | cs.CL | 混合架构 / 注意力机制 |
| 5 | PolyKV:面向 KV 缓存压缩的异构… | cs.LG | KV Cache 压缩 / 推理优化 |
| 6 | 面向 MoE 大模型高效推理的时空专家预… | cs.AR | MoE推理加速 / 硬件系统 |
| 7 | Google TPU v2 到 Iron… | cs.AR | 训练超算 / AI芯片架构 |
自动生成 · 2026-06-17 · jeffinchen daily tech reading list
评论