← Reading List
📰 技术速递

LLM 推理加速 · GPU 内核优化 · 分布式训练 · 边缘部署

Tech多源前沿

📰 2026-05-06 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM 推理加速、GPU 内核优化、分布式训练通信、Scaling Law 与边缘 AI 硬件。


1. Fast Log-Domain Sinkhorn:面向 GPU Warp 级并行的最优传输加速

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.00837
标签:GPU · CUDA · 最优传输 · Sinkhorn · Warp并行

Sinkhorn 算法是机器学习中熵正则化最优传输(OT)的核心工具,但现有实现在小 epsilon 时存在数值不稳定问题,且 GPU 利用率不足。本文提出 Log-Domain Sinkhorn 的 CUDA warp-level 归约实现,通过在 log 域执行所有计算并利用 warp 级别原语消除同步开销,实现了数值稳定性与高吞吐量的双重提升。

核心要点:

  • Log 域执行避免小 epsilon 下的数值下溢,大幅提升稳定性
  • 利用 CUDA warp-level 归约原语,消除 block 级同步瓶颈
  • 在标准 OT benchmark 上相比现有 GPU 实现取得显著加速

2. LEAP:面向高效 Transformer 推理的逐层早退预训练框架

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.01058
标签:Transformer · 早退推理 · 知识蒸馏 · 推理加速 · 模型压缩

层对齐蒸馏与早退推理是 Transformer 推理加速的两大主流范式,但本文发现二者存在系统性不兼容:现有方法要么优化中间层表示却无法早退,要么早退但缺乏对早退行为的预训练感知。LEAP 提出逐层早退感知预训练,在预训练阶段即将早退目标融入训练,解决了两种范式的根本矛盾。

核心要点:

  • 首次揭示层对齐蒸馏与早退推理之间的系统性不兼容问题
  • 预训练阶段即引入早退感知目标,而非推理时后处理
  • 在多个 Transformer 模型上实现 2-4× 推理加速,精度损失极小

3. Component-Aware Self-Speculative Decoding:混合语言模型的推测解码加速

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.01106
标签:推测解码 · 推理加速 · 混合架构 · 自推测 · LLM

推测解码(Speculative Decoding)通过轻量模型起草候选 token 并用目标模型并行验证来加速自回归推理。本文针对 Mamba、RWKV 等混合语言模型提出 Component-Aware Self-Speculative Decoding,利用模型自身不同组件(Attention 与 SSM)的速度差异实现内部自推测,无需额外 Draft 模型,降低部署复杂度。

核心要点:

  • 无需独立 Draft 模型,利用混合模型内部组件速度差异实现自推测
  • 专为 Mamba/RWKV 等混合架构设计,填补该领域推测解码空白
  • 在保持输出分布不变的前提下,显著提升混合模型推理吞吐量

4. Compute Optimal Tokenization:Scaling Law 视角下的最优分词选择

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.01188
标签:Tokenization · Scaling Law · 预训练 · 计算效率 · LLM

Scaling Law 指导了数据量与模型规模的最优配比,但数据基本单元——Token 的选择对这一关系的影响至今被忽视。本文将 tokenizer 设计纳入 Scaling Law 框架,系统研究词表大小与 token 粒度对计算最优训练的影响,发现不同计算预算下存在不同的最优 tokenization 策略。

核心要点:

  • 首次将 tokenizer 设计纳入 Scaling Law 分析框架
  • 揭示词表大小与计算预算之间的最优配比关系
  • 为大模型预训练的 tokenizer 选择提供了理论指导

5. NCCLbpf:基于 eBPF 的 GPU 集合通信可验证策略执行框架

来源:arXiv cs.OS
链接:https://arxiv.org/abs/2603.11438
标签:NCCL · 分布式训练 · eBPF · GPU通信 · 集合通信

NCCL 是大规模分布式训练中 GPU 集合通信的事实标准,但其插件机制缺乏策略验证与可组合性保证。NCCLbpf 将 eBPF 引入 NCCL 插件执行层,提供形式化可验证的策略执行,支持多策略可组合叠加,同时在内核态实现通信监控与访问控制,不影响通信性能。

核心要点:

  • 将 eBPF 引入 NCCL,首次实现 GPU 集合通信的可验证策略执行
  • 支持多策略可组合叠加,解决现有插件机制的隔离性问题
  • 内核态执行零额外延迟,不影响分布式训练通信性能

6. In-Kernel Broadcast Optimization:推荐系统推理的内核协同设计

来源:PyTorch Blog
链接:https://pytorch.org/blog/in-kernel-broadcast-optimization-co-designing-kernels-for-recsys-inference/
标签:推荐系统 · CUDA内核 · 推理优化 · Embedding · 内存带宽

传统推荐系统推理对每个候选 item 显式复制共享用户 Embedding/序列,造成大量冗余内存带宽消耗。IKBO(In-Kernel Broadcast Optimization)通过内核-模型-系统三层协同设计,在 CUDA 内核内部完成广播操作,消除显式复制开销,在 Meta 内部 RecSys 推理场景中取得显著吞吐提升。

核心要点:

  • 识别 RecSys 推理中用户 Embedding 显式复制的隐性带宽瓶颈
  • 内核-模型-系统三层协同设计,在 kernel 内部完成广播消除冗余拷贝
  • 在 Meta 生产 RecSys 推理中验证,吞吐量与延迟均获显著改善

7. P3-LLM:面向边缘 LLM 推理的 NPU-PIM 集成加速架构

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2511.06838
标签:LLM推理 · NPU · PIM · 边缘部署 · 量化

大型语言模型在边缘端推理面临内存带宽和算力的双重瓶颈。P3-LLM 提出 NPU(计算单元)与 PIM(近存计算)的异构集成架构,结合混合数值格式量化(FP8/INT4),将计算密集型操作分配至 NPU,将内存带宽敏感操作卸载至 PIM,实现边缘端 LLM 的高效推理。

核心要点:

  • NPU+PIM 异构集成,各司其职:计算密集 vs 带宽敏感操作分离
  • 混合数值格式(FP8/INT4)量化降低存储与带宽需求
  • 边缘场景下相比纯 NPU 方案实现更优的延迟/能效比

📊 今日速览

# 标题摘要 来源 方向
1 Fast Log-Domain Sinkhorn:面向 arXiv cs.LG GPU推理加速
2 LEAP:面向高效 Transformer 推理的逐层早 arXiv cs.LG 推理加速
3 Component-Aware Self-Specula arXiv cs.CL 推理加速
4 Compute Optimal Tokenization arXiv cs.CL 大模型预训练
5 NCCLbpf:基于 eBPF 的 GPU 集合通信可验 arXiv cs.OS 分布式训练
6 In-Kernel Broadcast Optimiza PyTorch Blog 推理优化
7 P3-LLM:面向边缘 LLM 推理的 NPU-PIM arXiv cs.AR LLM硬件推理

自动生成 · 2026-05-06 · jeffinchen daily tech reading list

评论