← Reading List
📰 技术速递

MoE架构优化 · GPU机密计算 · LLM服务加速 · FP8计算 · 微调提速

Tech多源前沿

📰 2026-06-25 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 MoE 架构搜索、边缘推理实测、GPU 机密计算、LLM 服务优化、FP8 高性能计算、大模型训练加速。


1. 异构 MoE 架构的大规模自动搜索流水线

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2606.23739
标签:MoE · 神经架构搜索 · 异构专家 · LEMUR · 大模型

本文提出了一套针对异构 4-Expert MoE(MoE4)架构的自动化大规模搜索流水线,依托 LEMUR 神经网络数据集生态系统。研究基于手工设计的异构 MoE 参考模型,用确定性代码汇编生成器替代人工设计,系统性地组合不同基础架构家族、归一化方案、激活函数等要素。结果发现最优异构 MoE4 配置可在参数量与计算量相当的条件下,显著优于同构 MoE 基线,展示了自动架构搜索在 MoE 设计空间中的巨大潜力。

核心要点:

  • 用确定性代码汇编器系统枚举异构 MoE 配置,覆盖架构族、归一化、激活函数等维度
  • 在 LEMUR 生态下大规模评估,发现异构 MoE4 在同等预算下优于同构基线
  • 为 MoE 架构从手工设计向自动化搜索转型提供了可复现的流水线框架

2. MoE 在消费级/边缘硬件上的推理效能实证研究

来源:arXiv cs.PF
链接:https://arxiv.org/abs/2606.21428
标签:MoE · 边缘推理 · 消费级硬件 · 稀疏激活 · 推理效率

MoE 语言模型常被描述为资源受限推理的理想选择——每个 token 只激活一小部分专家。然而本文通过系统实测发现,在消费级 GPU 和边缘设备上,MoE 的实际推理收益远低于理论预期。研究揭示了内存带宽瓶颈、专家路由开销、缓存命中率低等关键制约因素,并对不同硬件配置下 MoE vs. Dense 模型的延迟与吞吐进行了全面对比。

核心要点:

  • 实测表明消费级/边缘硬件上 MoE 的稀疏激活优势被内存带宽和路由开销大幅抵消
  • 系统分析了专家数量、激活比例、模型大小对实际推理延迟的影响曲线
  • 为在受限硬件上部署 MoE 模型提供了选型与优化的实证依据

3. 机密计算环境下 Blackwell GPU 的 LLM 服务性能瓶颈与恢复

来源:arXiv cs.DC
链接:https://arxiv.org/abs/2606.23969
标签:GPU机密计算 · LLM推理 · Blackwell · 性能优化 · PCIe

GPU 机密计算(GPU-CC)已能在 NVIDIA B300 上保持本地 GPU 计算性能(BF16 矩阵乘法达到非机密模式的 99.8%)。但本文发现,PCIe 跨 IOMMU 数据传输存在严重的序列化瓶颈,导致 LLM 服务场景下端到端吞吐量大幅下降。研究详细剖析了该瓶颈的根因,并提出了针对预填充/解码分离架构的传输优化方案,有效恢复了机密计算场景下的服务性能。

核心要点:

  • 识别出 GPU-CC 场景下 PCIe IOMMU 传输序列化是 LLM 服务性能的核心瓶颈
  • 在 B300 上量化了机密计算开销对预填充、解码两阶段的不同影响
  • 提出传输批处理与流水线优化方案,恢复接近非机密环境的服务吞吐

4. CrossPool:通过 KV-Cache 与权重解聚合高效服务冷 MoE 模型

来源:arXiv cs.DC
链接:https://arxiv.org/abs/2606.24506
标签:LLM服务 · KV-Cache · MoE · 权重解聚合 · GPU内存

随着 LLM 服务平台托管越来越多稀疏 MoE 模型,大多数模型请求稀少且长期冷置,造成 GPU 显存严重浪费。CrossPool 提出将 KV-Cache 与 MoE 权重解聚合,允许多个冷 MoE 模型共享物理 GPU 内存池,按需动态加载专家权重。实验显示 CrossPool 在相同 GPU 资源下可同时服务的 MoE 模型数量提升数倍,同时保持延迟 SLA。

核心要点:

  • 将 KV-Cache 与 MoE 专家权重解聚合,实现细粒度的 GPU 内存跨模型共享
  • 通过动态权重加载调度解决冷 MoE 模型的显存占用问题
  • 多 LLM 并发服务场景下 GPU 利用率显著提升,GPU 数量需求降低

5. FP8 就够了(二):用 Tensor Core Garner 重构实现高效 FFT

来源:arXiv cs.DC
链接:https://arxiv.org/abs/2606.23698
标签:FP8 · Tensor Core · FFT · Blackwell · 高精度计算

NVIDIA Blackwell Ultra(B300)将 FP64 向量吞吐削减至约 1.3 TFLOPS/GPU,比 B200 低约 30 倍,使得带宽受限的高精度 FFT 成为主要性能瓶颈。本文提出基于 Ozaki-Bailey 分解的 FP8 Tensor Core FFT 方案,通过 Garner 重构算法将高精度 FFT 分解为多个低精度 FP8 矩阵乘法,再借助 Kulisch 逃逸路径处理精度边界情况。实验表明该方法在 B300 上的 FFT 吞吐可达 FP64 方案的数倍。

核心要点:

  • 用 Ozaki-Bailey + Garner 重构将高精度 FFT 转化为 FP8 Tensor Core 矩阵乘序列
  • Kulisch 逃逸路由处理精度溢出边界情况,保证数值正确性
  • 在 B300 上 FP64 吞吐受限的背景下提供了实用的高性能 FFT 替代路径

6. 用 SGLang 在 GB300 上服务 DeepSeek-V4:Day-0 以来吞吐提升 5 倍

来源:PyTorch Blog
链接:https://pytorch.org/blog/serving-deepseek-v4-on-gb300-with-sglang-5x-higher-throughput-at-the-same-interactivity-since-day-0/
标签:DeepSeek · SGLang · GB300 · 推理优化 · 吞吐提升

DeepSeek-V4 在 SGLang 中从 Day-0 起即可运行,但发布时的技术栈只是起点。自发布以来,工程团队协同优化了 CUDA kernel、运行时调度与稳定性加固,在 NVIDIA GB300 上实现相同交互延迟下吞吐量提升 5 倍。文章系统梳理了 kernel 融合、批调度、专家并行等核心优化路径,并分享了在 GB300 NVLink 互联拓扑下的最佳配置实践。

核心要点:

  • CUDA kernel 融合 + 批调度优化,在 GB300 上实现 5x 吞吐提升
  • 详述专家并行与 NVLink 拓扑感知调度对 DeepSeek-V4 的加速原理
  • 从 Day-0 到优化版本的演进路径为大规模 MoE 服务工程提供了参考范例

7. 用 NVIDIA NeMo AutoModel 加速 Transformers 微调

来源:HuggingFace Blog
链接:https://huggingface.co/blog/nvidia/accelerating-fine-tuning-nvidia-nemo-automodel
标签:NeMo · 微调加速 · Transformers · NVIDIA · 分布式训练

NVIDIA NeMo AutoModel 与 Hugging Face Transformers 深度集成,让用户无需手动配置分布式训练即可利用 NeMo 的高性能 CUDA 算子、混合精度策略与张量并行能力。文章介绍了 AutoModel API 的设计理念——自动检测模型类型、推荐最优并行策略,并通过实测展示了相比原生 Transformers 微调的显著速度提升,尤其在多卡场景下收益突出。

核心要点:

  • NeMo AutoModel 自动检测模型架构并推荐张量并行 + 混合精度最优配置
  • 与 Hugging Face Transformers 无缝集成,无需修改训练脚本即可启用 NeMo 高性能后端
  • 多卡微调场景实测吞吐显著优于原生 Transformers,降低大模型微调门槛

📊 今日速览

# 标题摘要 来源 方向
1 异构 MoE 架构的大规模自动搜索流水线 arXiv cs.LG MoE架构搜索
2 MoE 在消费级/边缘硬件上的推理效能实证研究 arXiv cs.PF 边缘推理评估
3 机密计算环境下 Blackwell GPU 的 LLM 服务性能瓶颈与恢复 arXiv cs.DC GPU机密计算
4 CrossPool:通过 KV-Cache 与权重解聚合高效服务冷 MoE 模型 arXiv cs.DC LLM服务优化
5 FP8 就够了(二):用 Tensor Core Garner 重构实现高效 FFT arXiv cs.DC FP8计算加速
6 用 SGLang 在 GB300 上服务 DeepSeek-V4:Day-0 以来吞吐提升 5 倍 PyTorch Blog 推理吞吐优化
7 用 NVIDIA NeMo AutoModel 加速 Transformers 微调 HuggingFace Blog 微调加速

自动生成 · 2026-06-25 · jeffinchen daily tech reading list

评论