📰 2026-06-25 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 MoE 架构搜索、边缘推理实测、GPU 机密计算、LLM 服务优化、FP8 高性能计算、大模型训练加速。
1. 异构 MoE 架构的大规模自动搜索流水线
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2606.23739
标签:MoE · 神经架构搜索 · 异构专家 · LEMUR · 大模型
本文提出了一套针对异构 4-Expert MoE(MoE4)架构的自动化大规模搜索流水线,依托 LEMUR 神经网络数据集生态系统。研究基于手工设计的异构 MoE 参考模型,用确定性代码汇编生成器替代人工设计,系统性地组合不同基础架构家族、归一化方案、激活函数等要素。结果发现最优异构 MoE4 配置可在参数量与计算量相当的条件下,显著优于同构 MoE 基线,展示了自动架构搜索在 MoE 设计空间中的巨大潜力。
核心要点:
- 用确定性代码汇编器系统枚举异构 MoE 配置,覆盖架构族、归一化、激活函数等维度
- 在 LEMUR 生态下大规模评估,发现异构 MoE4 在同等预算下优于同构基线
- 为 MoE 架构从手工设计向自动化搜索转型提供了可复现的流水线框架
2. MoE 在消费级/边缘硬件上的推理效能实证研究
来源:arXiv cs.PF
链接:https://arxiv.org/abs/2606.21428
标签:MoE · 边缘推理 · 消费级硬件 · 稀疏激活 · 推理效率
MoE 语言模型常被描述为资源受限推理的理想选择——每个 token 只激活一小部分专家。然而本文通过系统实测发现,在消费级 GPU 和边缘设备上,MoE 的实际推理收益远低于理论预期。研究揭示了内存带宽瓶颈、专家路由开销、缓存命中率低等关键制约因素,并对不同硬件配置下 MoE vs. Dense 模型的延迟与吞吐进行了全面对比。
核心要点:
- 实测表明消费级/边缘硬件上 MoE 的稀疏激活优势被内存带宽和路由开销大幅抵消
- 系统分析了专家数量、激活比例、模型大小对实际推理延迟的影响曲线
- 为在受限硬件上部署 MoE 模型提供了选型与优化的实证依据
3. 机密计算环境下 Blackwell GPU 的 LLM 服务性能瓶颈与恢复
来源:arXiv cs.DC
链接:https://arxiv.org/abs/2606.23969
标签:GPU机密计算 · LLM推理 · Blackwell · 性能优化 · PCIe
GPU 机密计算(GPU-CC)已能在 NVIDIA B300 上保持本地 GPU 计算性能(BF16 矩阵乘法达到非机密模式的 99.8%)。但本文发现,PCIe 跨 IOMMU 数据传输存在严重的序列化瓶颈,导致 LLM 服务场景下端到端吞吐量大幅下降。研究详细剖析了该瓶颈的根因,并提出了针对预填充/解码分离架构的传输优化方案,有效恢复了机密计算场景下的服务性能。
核心要点:
- 识别出 GPU-CC 场景下 PCIe IOMMU 传输序列化是 LLM 服务性能的核心瓶颈
- 在 B300 上量化了机密计算开销对预填充、解码两阶段的不同影响
- 提出传输批处理与流水线优化方案,恢复接近非机密环境的服务吞吐
4. CrossPool:通过 KV-Cache 与权重解聚合高效服务冷 MoE 模型
来源:arXiv cs.DC
链接:https://arxiv.org/abs/2606.24506
标签:LLM服务 · KV-Cache · MoE · 权重解聚合 · GPU内存
随着 LLM 服务平台托管越来越多稀疏 MoE 模型,大多数模型请求稀少且长期冷置,造成 GPU 显存严重浪费。CrossPool 提出将 KV-Cache 与 MoE 权重解聚合,允许多个冷 MoE 模型共享物理 GPU 内存池,按需动态加载专家权重。实验显示 CrossPool 在相同 GPU 资源下可同时服务的 MoE 模型数量提升数倍,同时保持延迟 SLA。
核心要点:
- 将 KV-Cache 与 MoE 专家权重解聚合,实现细粒度的 GPU 内存跨模型共享
- 通过动态权重加载调度解决冷 MoE 模型的显存占用问题
- 多 LLM 并发服务场景下 GPU 利用率显著提升,GPU 数量需求降低
5. FP8 就够了(二):用 Tensor Core Garner 重构实现高效 FFT
来源:arXiv cs.DC
链接:https://arxiv.org/abs/2606.23698
标签:FP8 · Tensor Core · FFT · Blackwell · 高精度计算
NVIDIA Blackwell Ultra(B300)将 FP64 向量吞吐削减至约 1.3 TFLOPS/GPU,比 B200 低约 30 倍,使得带宽受限的高精度 FFT 成为主要性能瓶颈。本文提出基于 Ozaki-Bailey 分解的 FP8 Tensor Core FFT 方案,通过 Garner 重构算法将高精度 FFT 分解为多个低精度 FP8 矩阵乘法,再借助 Kulisch 逃逸路径处理精度边界情况。实验表明该方法在 B300 上的 FFT 吞吐可达 FP64 方案的数倍。
核心要点:
- 用 Ozaki-Bailey + Garner 重构将高精度 FFT 转化为 FP8 Tensor Core 矩阵乘序列
- Kulisch 逃逸路由处理精度溢出边界情况,保证数值正确性
- 在 B300 上 FP64 吞吐受限的背景下提供了实用的高性能 FFT 替代路径
6. 用 SGLang 在 GB300 上服务 DeepSeek-V4:Day-0 以来吞吐提升 5 倍
来源:PyTorch Blog
链接:https://pytorch.org/blog/serving-deepseek-v4-on-gb300-with-sglang-5x-higher-throughput-at-the-same-interactivity-since-day-0/
标签:DeepSeek · SGLang · GB300 · 推理优化 · 吞吐提升
DeepSeek-V4 在 SGLang 中从 Day-0 起即可运行,但发布时的技术栈只是起点。自发布以来,工程团队协同优化了 CUDA kernel、运行时调度与稳定性加固,在 NVIDIA GB300 上实现相同交互延迟下吞吐量提升 5 倍。文章系统梳理了 kernel 融合、批调度、专家并行等核心优化路径,并分享了在 GB300 NVLink 互联拓扑下的最佳配置实践。
核心要点:
- CUDA kernel 融合 + 批调度优化,在 GB300 上实现 5x 吞吐提升
- 详述专家并行与 NVLink 拓扑感知调度对 DeepSeek-V4 的加速原理
- 从 Day-0 到优化版本的演进路径为大规模 MoE 服务工程提供了参考范例
7. 用 NVIDIA NeMo AutoModel 加速 Transformers 微调
来源:HuggingFace Blog
链接:https://huggingface.co/blog/nvidia/accelerating-fine-tuning-nvidia-nemo-automodel
标签:NeMo · 微调加速 · Transformers · NVIDIA · 分布式训练
NVIDIA NeMo AutoModel 与 Hugging Face Transformers 深度集成,让用户无需手动配置分布式训练即可利用 NeMo 的高性能 CUDA 算子、混合精度策略与张量并行能力。文章介绍了 AutoModel API 的设计理念——自动检测模型类型、推荐最优并行策略,并通过实测展示了相比原生 Transformers 微调的显著速度提升,尤其在多卡场景下收益突出。
核心要点:
- NeMo AutoModel 自动检测模型架构并推荐张量并行 + 混合精度最优配置
- 与 Hugging Face Transformers 无缝集成,无需修改训练脚本即可启用 NeMo 高性能后端
- 多卡微调场景实测吞吐显著优于原生 Transformers,降低大模型微调门槛
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | 异构 MoE 架构的大规模自动搜索流水线 | arXiv cs.LG | MoE架构搜索 |
| 2 | MoE 在消费级/边缘硬件上的推理效能实证研究 | arXiv cs.PF | 边缘推理评估 |
| 3 | 机密计算环境下 Blackwell GPU 的 LLM 服务性能瓶颈与恢复 | arXiv cs.DC | GPU机密计算 |
| 4 | CrossPool:通过 KV-Cache 与权重解聚合高效服务冷 MoE 模型 | arXiv cs.DC | LLM服务优化 |
| 5 | FP8 就够了(二):用 Tensor Core Garner 重构实现高效 FFT | arXiv cs.DC | FP8计算加速 |
| 6 | 用 SGLang 在 GB300 上服务 DeepSeek-V4:Day-0 以来吞吐提升 5 倍 | PyTorch Blog | 推理吞吐优化 |
| 7 | 用 NVIDIA NeMo AutoModel 加速 Transformers 微调 | HuggingFace Blog | 微调加速 |
自动生成 · 2026-06-25 · jeffinchen daily tech reading list
评论