← Reading List
📰 技术速递

cs.IR 论文日报、推理系统调优与内核基准实测

Tech多源前沿

📰 2026-06-08 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖推荐系统论文速报、LLM 推理调优实践与算子性能剖析。


1. arXiv cs.IR 每日论文速报(2026-06-08)

来源:iWiki 论文速报 链接:https://iwiki.woa.com/p/4021577602 标签:推荐系统 · 论文速报 · cs.IR · 检索

当日 cs.IR 新 submissions 扫描:涵盖生成式推荐、检索模型与用户行为建模方向的新论文,含大厂团队的工业化推荐系统工作。速报采用”预过滤 + 两阶段筛选”流程,每篇附推荐评分,适合快速扫描推荐/检索方向的最新动态。

核心要点:

  • cs.IR 当日新论文的领域分布与热点主题
  • 生成式推荐(GenRec)继续升温:语义 ID 与行为 token 化
  • 检索-排序级联的端到端优化成为新趋势

2. LLM 推理性能工程:从 Profiling 到 Kernel 的全链路调优

来源:NVIDIA Developer Blog(Nsight 系列实践) 链接:https://developer.nvidia.com/blog/ 标签:Profiling · Nsight · Kernel 调优 · 性能工程

推理性能优化的方法论合集:用 Nsight Systems 找 host-device 气泡与 kernel 间隙,用 Nsight Compute 定位单 kernel 的显存带宽/占用率/指令效率瓶颈,再针对性做算子融合或重写。文章强调”先测量再优化”的纪律,是 kernel 工程师的日常工具手册。

核心要点:

  • 端到端 timeline 分析:CPU 调度、kernel 启动、同步等待
  • 单 kernel 剖析:带宽利用率、occupancy、warp 发射效率
  • 常见反模式:碎片化小 kernel、不必要的 D2H 同步

3. FlexGen:单 GPU 上的高吞吐生成式推理

来源:arXiv cs.LG(ICML’23 论文) 链接:https://arxiv.org/abs/2303.06865 标签:Offload · 显存分层 · 离线推理 · 吞吐优化

FlexGen 研究受限显存下的极限吞吐:把权重/KV Cache/激活在 GPU-CPU-SSD 间分层放置,转化为整数规划问题求解最优 offload 策略。在离线批处理场景(如数据标注、评测)实现单卡跑 175B 模型。它的块状流水线思想影响了今天的分层推理与显存卸载方案。

核心要点:

  • 三级存储分层放置建模为 ILP 优化问题
  • 以块为单位的权重加载流水线,隐藏传输延迟
  • 吞吐优先的离线推理与延迟优先在线服务的策略分野

4. PowerInfer:消费级 GPU 上的高速 LLM 服务

来源:arXiv cs.LG(SOSP’24 论文) 链接:https://arxiv.org/abs/2312.12456 标签:投机解码 · Tree Attention · 推理加速 · 小模型协同

PowerInfer 利用 LLM 权重中的激活局部性:少数热神经元常驻 GPU,冷神经元留在 CPU 内存按需加载,配合 GPU-CPU 混合执行引擎,在消费级 GPU(如 RTX 4090)上让大模型推理首次达到可用速度。它是”硬件感知稀疏激活”路线的代表作。

核心要点:

  • 热/冷神经元分离:GPU 常驻热点、CPU 承载长尾
  • GPU-CPU 混合执行引擎与按需权重预取
  • 消费级 GPU 上的首 token 延迟与解码速度实测

5. Alpa:自动化 Operator 间与 Operator 内并行

来源:arXiv cs.DC(OSDI’22 论文) 链接:https://arxiv.org/abs/2201.12020 标签:自动并行 · 编译器 · 训练系统 · 优化搜索

Alpa 把分布式训练的并行策略选择形式化为两级整数规划:算子间(pipeline/data)与算子内(sharding)解耦搜索。这个”编译器找并行方案”的思路已被 PyTorch DTensor、XLA GSPMD 采纳,是理解现代自动并行编译器的代表作。

核心要点:

  • 算子内 sharding 与算子间 pipeline 的两级搜索空间
  • 通信代价建模:考虑网络拓扑的带宽-时延差异
  • 相比 Megatron 手动调参在大模型上取得更优吞吐

6. 分布式训练数值一致性:NCCL 与 AllReduce 的工程细节

来源:NVIDIA NCCL 官方文档/博客 链接:https://developer.nvidia.com/nccl 标签:NCCL · AllReduce · 集合通信 · 数值一致性

集合通信是分布式训练的隐形骨架:Ring vs Tree AllReduce 的带宽/延迟模型、NCCL 拓扑感知的通道分配、浮点归约顺序对数值一致性的影响。本文梳理 NCCL 的调优要点(NCCL_ALGO、NCCL_PROTO、通道数)与跨节点扩展性的常见坑。

核心要点:

  • Ring AllReduce 带宽最优 / Tree 延迟最优的选择逻辑
  • 拓扑感知通信:NVLink/PCIe/IB 的分层流量调度
  • 归约顺序与训练不可复现问题的关系

📊 今日速览

# 标题摘要 来源 方向
1 arXiv cs.IR 每日论文速报(2026-06-08) iWiki 推荐系统
2 LLM 推理性能工程:Profiling 全链路调优 NVIDIA Blog 性能工程
3 FlexGen:单 GPU 上的高吞吐生成式推理 arXiv cs.LG Offload
4 PowerInfer:消费级 GPU 上的高速 LLM 服务 arXiv cs.LG GPU-CPU 混合
5 Alpa:自动化 Operator 间与 Operator 内并行 arXiv cs.DC 自动并行
6 NCCL 与 AllReduce 的工程细节 NVIDIA 官方 集合通信

自动生成 · 2026-06-08 · jeffinchen daily tech reading list

评论