📰 2026-06-08 · 每日技术速递
今日精选 6 篇深度技术文章,覆盖推荐系统论文速报、LLM 推理调优实践与算子性能剖析。
1. arXiv cs.IR 每日论文速报(2026-06-08)
来源:iWiki 论文速报 链接:https://iwiki.woa.com/p/4021577602 标签:推荐系统 · 论文速报 · cs.IR · 检索
当日 cs.IR 新 submissions 扫描:涵盖生成式推荐、检索模型与用户行为建模方向的新论文,含大厂团队的工业化推荐系统工作。速报采用”预过滤 + 两阶段筛选”流程,每篇附推荐评分,适合快速扫描推荐/检索方向的最新动态。
核心要点:
- cs.IR 当日新论文的领域分布与热点主题
- 生成式推荐(GenRec)继续升温:语义 ID 与行为 token 化
- 检索-排序级联的端到端优化成为新趋势
2. LLM 推理性能工程:从 Profiling 到 Kernel 的全链路调优
来源:NVIDIA Developer Blog(Nsight 系列实践) 链接:https://developer.nvidia.com/blog/ 标签:Profiling · Nsight · Kernel 调优 · 性能工程
推理性能优化的方法论合集:用 Nsight Systems 找 host-device 气泡与 kernel 间隙,用 Nsight Compute 定位单 kernel 的显存带宽/占用率/指令效率瓶颈,再针对性做算子融合或重写。文章强调”先测量再优化”的纪律,是 kernel 工程师的日常工具手册。
核心要点:
- 端到端 timeline 分析:CPU 调度、kernel 启动、同步等待
- 单 kernel 剖析:带宽利用率、occupancy、warp 发射效率
- 常见反模式:碎片化小 kernel、不必要的 D2H 同步
3. FlexGen:单 GPU 上的高吞吐生成式推理
来源:arXiv cs.LG(ICML’23 论文) 链接:https://arxiv.org/abs/2303.06865 标签:Offload · 显存分层 · 离线推理 · 吞吐优化
FlexGen 研究受限显存下的极限吞吐:把权重/KV Cache/激活在 GPU-CPU-SSD 间分层放置,转化为整数规划问题求解最优 offload 策略。在离线批处理场景(如数据标注、评测)实现单卡跑 175B 模型。它的块状流水线思想影响了今天的分层推理与显存卸载方案。
核心要点:
- 三级存储分层放置建模为 ILP 优化问题
- 以块为单位的权重加载流水线,隐藏传输延迟
- 吞吐优先的离线推理与延迟优先在线服务的策略分野
4. PowerInfer:消费级 GPU 上的高速 LLM 服务
来源:arXiv cs.LG(SOSP’24 论文) 链接:https://arxiv.org/abs/2312.12456 标签:投机解码 · Tree Attention · 推理加速 · 小模型协同
PowerInfer 利用 LLM 权重中的激活局部性:少数热神经元常驻 GPU,冷神经元留在 CPU 内存按需加载,配合 GPU-CPU 混合执行引擎,在消费级 GPU(如 RTX 4090)上让大模型推理首次达到可用速度。它是”硬件感知稀疏激活”路线的代表作。
核心要点:
- 热/冷神经元分离:GPU 常驻热点、CPU 承载长尾
- GPU-CPU 混合执行引擎与按需权重预取
- 消费级 GPU 上的首 token 延迟与解码速度实测
5. Alpa:自动化 Operator 间与 Operator 内并行
来源:arXiv cs.DC(OSDI’22 论文) 链接:https://arxiv.org/abs/2201.12020 标签:自动并行 · 编译器 · 训练系统 · 优化搜索
Alpa 把分布式训练的并行策略选择形式化为两级整数规划:算子间(pipeline/data)与算子内(sharding)解耦搜索。这个”编译器找并行方案”的思路已被 PyTorch DTensor、XLA GSPMD 采纳,是理解现代自动并行编译器的代表作。
核心要点:
- 算子内 sharding 与算子间 pipeline 的两级搜索空间
- 通信代价建模:考虑网络拓扑的带宽-时延差异
- 相比 Megatron 手动调参在大模型上取得更优吞吐
6. 分布式训练数值一致性:NCCL 与 AllReduce 的工程细节
来源:NVIDIA NCCL 官方文档/博客 链接:https://developer.nvidia.com/nccl 标签:NCCL · AllReduce · 集合通信 · 数值一致性
集合通信是分布式训练的隐形骨架:Ring vs Tree AllReduce 的带宽/延迟模型、NCCL 拓扑感知的通道分配、浮点归约顺序对数值一致性的影响。本文梳理 NCCL 的调优要点(NCCL_ALGO、NCCL_PROTO、通道数)与跨节点扩展性的常见坑。
核心要点:
- Ring AllReduce 带宽最优 / Tree 延迟最优的选择逻辑
- 拓扑感知通信:NVLink/PCIe/IB 的分层流量调度
- 归约顺序与训练不可复现问题的关系
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | arXiv cs.IR 每日论文速报(2026-06-08) | iWiki | 推荐系统 |
| 2 | LLM 推理性能工程:Profiling 全链路调优 | NVIDIA Blog | 性能工程 |
| 3 | FlexGen:单 GPU 上的高吞吐生成式推理 | arXiv cs.LG | Offload |
| 4 | PowerInfer:消费级 GPU 上的高速 LLM 服务 | arXiv cs.LG | GPU-CPU 混合 |
| 5 | Alpa:自动化 Operator 间与 Operator 内并行 | arXiv cs.DC | 自动并行 |
| 6 | NCCL 与 AllReduce 的工程细节 | NVIDIA 官方 | 集合通信 |
自动生成 · 2026-06-08 · jeffinchen daily tech reading list
评论