← Reading List
📰 技术速递

光子互连推理加速、过程奖励RAG与测试时智能等7篇精选

Tech多源前沿

📰 2026-09-04 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 推理加速(光子互连/单遍解码)、LLM 训练与过程奖励(RAG/测试时智能)、OS 内核 eBPF 追踪、WebGPU 内核与 PyTorch 2.14 新特性。


1. 用高基数光子互连扩展推理 Prefill

来源:arXiv (cs.AR) 链接:https://arxiv.org/abs/2609.01821 标签:推理加速 · 光互连 · MoE · Prefill · 大模型推理

随着推理成为 AI 的主导负载,业界正转向高带宽光子互连以满足越来越复杂的 MoE 模型对 scale-up 的诉求。本文通过模拟三种 MoE 模型(短上下文 1K–8K、长上下文等),量化分析了 3D 集成光子互连在推理 prefill 阶段的收益,权衡了 LLM 对话高并发吞吐与推理/agentic AI 所需大上下文窗口之间的矛盾。

核心要点:

  • 提出用 3D 集成光子互连替代电互连,显著缓解 MoE prefill 阶段的高并发通信瓶颈
  • 在短/长上下文配置下模拟三种 MoE,给出吞吐与上下文长度的量化权衡曲线
  • 为面向推理与 agentic AI 的大上下文场景提供了互连选型的数据支撑

2. PRO-Step:面向 RAG 的步骤级过程奖励优化

来源:arXiv (cs.CL) 链接:https://arxiv.org/abs/2609.01658 标签:RAG · 过程奖励 · 强化学习 · 多跳推理 · LLM训练

RAG 通过外部知识增强 LLM,但多跳推理容易受错误传播影响。标准结果导向优化只奖励最终答案,导致中间检索与推理错误难以被发现。PRO-Step 提出步骤级过程奖励优化,修正了已有过程方法仍以最终答案反推步骤得分、奖励“偶然正确”的问题。

核心要点:

  • 针对 RAG 多跳推理的错误传播,引入 step-level 过程奖励信号
  • 纠正已有过程方法“以最终答案反推步骤得分”带来的虚假成功奖励
  • 在检索与推理中间步骤上提供细粒度监督,提升 RAG 系统的可靠性

3. 自改进测试时智能综述:反馈驱动的推理期适应与扩展

来源:arXiv (cs.LG) 链接:https://arxiv.org/abs/2609.01679 标签:测试时计算 · 自适应推理 · 推理扩展 · 综述

随着推理从固定模型的静态执行走向部署时的自我改进,越来越多研究关注模型如何利用测试时信息与额外计算动态优化行为。本综述系统梳理了两条主线:基于测试时信号修改模型状态的方法,以及通过额外推理资源(如更多采样)提升预测的方法。

核心要点:

  • 系统归纳“测试时智能”两大方向:状态修改型与推理资源扩展型
  • 覆盖反馈驱动的适应(adapting)、学习(learning)与扩展(scaling)三类范式
  • 为推理阶段自我改进研究提供统一框架与未来方向指引

4. hLLM:用单遍解码实现生成式重排

来源:arXiv (cs.LG) 链接:https://arxiv.org/abs/2609.01807 标签:生成式重排 · 解码加速 · LLM推理 · 匈牙利算法

LLM 生成式排序质量已达 SOTA,但排序结果需解码,自回归解码每个输出 token 消耗一次顺序前向。hLLM 观察到排序器只需输出 N 个序数(物品排序),这种排列结构化输出可用远比自左向右生成更高效的策略解码,从而提出格式专用的单遍解码策略。

核心要点:

  • 指出生成式重排的瓶颈在于逐 token 自回归解码的串行前向开销
  • 利用“排列结构化输出”特性,设计单遍(single-pass)解码替代 left-to-right 生成
  • 在保持排序质量的同时大幅降低解码延迟,提升生成式重排的工程实用性

5. SchedBlame:在原生内核上归因容器 CPU 争用的“元凶”

来源:arXiv (cs.OS) 链接:https://arxiv.org/abs/2609.02052 标签:操作系统 · eBPF · CPU调度 · 容器 · 内核追踪

共享机器的容器竞争 CPU,当一个变慢时运维需要知道是哪个共置租户所致,但现有信号(PSI、per-cgroup 等待计数、run-queue 延迟直方图)都是“受害侧”,只报告等待不报告等待对象。SchedBlame 是一个 eBPF 追踪器,将 CPU 争用归因到真正的“元凶”租户。

核心要点:

  • 现有内核调度信号均为受害侧,无法定位导致 CPU 争用的共置租户
  • 基于 eBPF 实现无内核补丁、低开销的“元凶归因”追踪
  • 在 stock kernel 上即可运行,无需 scheduler tracing 或统计推断

6. PyTorch 2.14 正式发布

来源:PyTorch Blog 链接:https://pytorch.org/blog/pytorch-2-14-release-blog/ 标签:PyTorch · 深度学习框架 · 编译器 · 2.14

PyTorch 2.14 正式发布,包含自 2.13 以来来自 487 位贡献者的 2995 次提交。本次发布延续 2.x 系列在编译器(torch.compile)、分布式训练与性能方面的迭代,并配套 Q&A Webinar 与 PyTorch Conference 分享新能力。

核心要点:

  • 2.14 汇集 487 位贡献者的 2995 次提交,持续完善编译器与性能
  • 延续 torch.compile 与分布式训练方向的工程迭代
  • 社区通过 Webinar 与 Conference 同步新特性与使用实践

7. Hugging Face 发布 200+ WebGPU 内核助力本地 AI

来源:Hugging Face Blog 链接:https://huggingface.co/blog/webgpu-kernels 标签:WebGPU · GPU内核 · 本地推理 · 浏览器AI

Hugging Face 发布 @huggingface/kernels,提供 207 个 Apache-2.0 许可的 WebGPU 内核,以独立仓库形式发布,配套 JavaScript 加载器可在浏览器/本地直接下载、准备并运行内核。同时推出 Fleet——浏览器内 GPU 基准测试套件,社区可贡献真实硬件的性能与正确性证据。

核心要点:

  • 发布 207 个 WebGPU 内核(独立仓库、Apache-2.0),覆盖本地/浏览器 AI 推理
  • 提供 JS 加载器 @huggingface/kernels,从 Hub 直接下载并运行内核
  • 配套 Fleet 基准测试,借助社区真实硬件反馈持续优化内核变体

📊 今日速览

# 标题摘要 来源 方向
1 用高基数光子互连扩展推理 Prefill arXiv (cs.AR) 推理加速
2 PRO-Step:面向 RAG 的步骤级过程奖励优化 arXiv (cs.CL) LLM训练/RL
3 自改进测试时智能综述:反馈驱动的推理期适应与扩展 arXiv (cs.LG) 测试时计算
4 hLLM:用单遍解码实现生成式重排 arXiv (cs.LG) 解码加速
5 SchedBlame:在原生内核上归因容器 CPU 争用的“元凶” arXiv (cs.OS) OS内核
6 PyTorch 2.14 正式发布 PyTorch Blog 框架
7 Hugging Face 发布 200+ WebGPU 内核助力本地 AI Hugging Face Blog GPU内核

自动生成 · 2026-09-04 · jeffinchen daily tech reading list

评论