← Reading List
📰 技术速递

推理加速与 LLM 服务工程周报:投机执行、FlashAttention、MoE 训练

Tech多源前沿

📰 2026-10-02 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 推理加速(投机解码/投机执行)、LLM 服务与在线优化、GPU 注意力内核、分布式 MoE 训练基础设施。


1. TomasuLLM:面向 LLM 智能体的乱序投机执行

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2609.38201 标签:推理加速 · 投机执行 · LLM智能体 · 工具调用

长耗时工具(编译器、测试套件、仓库命令)往往占据 coding agent 端到端延迟的大部分,期间模型只能空闲等待。TomasuLLM 提出乱序投机执行框架:在阻塞型工具执行的同时,预测工具结果并沿预测分支继续生成 token,将等待时间重叠为有效计算。论文给出一套在工具完成时提交或回滚投机状态的调度器,在保证正确性的前提下,不改变模型权重即可显著降低 agent 的端到端延迟。

核心要点:

  • 长耗时工具(编译、测试、命令)是 coding agent 延迟的主要瓶颈
  • 乱序投机执行:阻塞工具运行期间并行预测结果并继续生成
  • 调度器在工具完成时提交或回滚投机状态,保证正确性
  • 无需修改模型权重即可显著降低端到端 agent 延迟

2. DEdit:面向投机解码的迭代草稿编辑

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2609.38510 标签:投机解码 · 推理加速 · 草稿模型 · 扩散模型

投机解码通过轻量草稿模型并行提议 token、由目标模型并行验证来加速自回归 LLM。基于扩散的草稿模型能给出更丰富的候选,但与目标模型的分布对齐更难。DEdit 提出迭代草稿编辑:不再一次性生成整段草稿,而是由草稿模型根据目标模型的反馈反复修订草稿,从而提升接受率与整体加速比,并天然兼容扩散式草稿模型。

核心要点:

  • 投机解码以小草稿模型并行提议、目标模型并行验证来加速推理
  • DEdit 改为迭代草稿编辑,依据目标模型反馈反复修订草稿
  • 相比一次性成稿,token 接受率更高、加速比更大
  • 兼容扩散草稿模型,改善难对齐场景下的表现

3. 刻画高带宽闪存用于 LLM 服务的内存层级

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.39131 标签:存储 · 高带宽闪存 · LLM推理 · 权重卸载

LLM 服务需要大量显存存储模型权重与 KV cache,随模型规模与上下文长度增长,显存成本急剧攀升。本文系统性刻画高带宽闪存(HBF)作为低成本、高吞吐的内存层级用于 LLM 服务,分析其带宽/延迟权衡,并提出权重放置与缓存策略,将低频访问的权重卸载到 HBF,为超大模型推理在显存与成本之间提供新的折中空间。

核心要点:

  • LLM 服务需大量显存存权重与 KV cache,成本随规模飙升
  • 系统刻画高带宽闪存(HBF)作为低成本高吞吐内存层
  • 提出权重放置与缓存策略,将低频权重卸载至 HBF
  • 为超大模型推理提供显存—成本的新折中方案

4. Herschel:面向生产环境 LLM 推理的按需持续优化

来源:arXiv cs.OS 链接:https://arxiv.org/abs/2609.40247 标签:LLM服务 · 在线优化 · 性能剖析 · 推理调度

模型即服务平台要求持续优化的能力,因为复杂的线上服务条件会暴露出部署前未能发现的低效点。Herschel 通过按需性能剖析,在生产环境中持续调优 LLM 推理(批大小、调度策略、KV cache 等),且全程不中断在线服务。该方法让真实生产负载下的吞吐与资源利用率得以动态提升。

核心要点:

  • MaaS 平台需随服务条件变化持续优化,部署前难以发现低效
  • Herschel 通过按需性能剖析持续调优生产推理参数
  • 调优覆盖批大小、调度、KV cache 等关键维度
  • 不中断在线服务即可提升实际吞吐与资源利用率

5. 驯服投机搜索:让测试时扩展在 LLM 服务中高效落地

来源:arXiv cs.OS 链接:https://arxiv.org/abs/2609.39334 标签:测试时扩展 · 投机搜索 · LLM服务 · 推理调度

测试时扩展(test-time scaling)通过在推理期分配额外算力(如多候选树搜索)提升推理质量,但其分支结构使投机式服务难以高效调度。本文提出驯服投机搜索的方法,在受控的算力预算与延迟约束下,让 test-time scaling 在生产服务中变得可行,兼顾推理质量与在线延迟。

核心要点:

  • 测试时扩展以推理期额外算力(树搜索)提升推理质量
  • 分支结构使投机式服务调度困难
  • 提出驯服投机搜索,在算力预算与延迟约束下落地
  • 让 test-time scaling 在生产服务中既高效又可控

6. 用 TLX 在 Blackwell 上优化 Jagged Flash Attention 迈向 SOTA FA4

来源:PyTorch Blog 链接:https://pytorch.org/blog/optimizing-jagged-flash-attention-with-tlx-the-road-toward-sota-fa4-on-blackwell/ 标签:FlashAttention · GPU · Blackwell · CUDA内核

本文介绍 Meta 生成式广告模型(GEM)背后的 Jagged Flash Attention(JFA)内核,该内核基于 TLX 构建在 NVIDIA Blackwell(B200)上,达到了 SOTA 的 FlashAttention-4 性能。文章重点讨论了如何在新一代 GPU 架构上高效处理变长(jagged)序列的注意力计算,为变长场景下的注意力内核优化提供了工程实践参考。

核心要点:

  • JFA 是 Meta 生成式广告模型(GEM)背后的变长注意力内核
  • 基于 TLX 在 NVIDIA Blackwell (B200) 上实现
  • 达到 SOTA 的 FlashAttention-4 性能
  • 展示新 GPU 架构上高效处理 jagged/变长序列的方法

7. Olmo-core 3:面向大规模 MoE 的开源可扩展训练基础设施

来源:HuggingFace Blog 链接:https://huggingface.co/blog/allenai/olmocore3 标签:分布式训练 · MoE · 训练基础设施 · 开源

AllenAI 发布 Olmo-core 3,一套面向大规模混合专家(MoE)模型的开源、可扩展训练基础设施。项目重点解决超大 MoE 工作负载下的高效分布式训练问题,并强调可复现性与可扩展性,为开源社区训练超大 MoE 模型提供了系统性的工程参考与可复用的基础设施。

核心要点:

  • AllenAI 发布 Olmo-core 3,面向大规模 MoE 的开源训练基础设施
  • 重点解决超大 MoE 的高效分布式训练
  • 强调训练过程的可复现性与系统的可扩展性
  • 为开源社区提供训练超大 MoE 的工程参考

📊 今日速览

# 标题摘要 来源 方向
1 TomasuLLM:面向 LLM 智能体的乱序投机执行 arXiv cs.CL 推理加速
2 DEdit:面向投机解码的迭代草稿编辑 arXiv cs.CL 推理加速
3 刻画高带宽闪存用于 LLM 服务的内存层级 arXiv cs.AR LLM存储
4 Herschel:面向生产环境 LLM 推理的按需持续优化 arXiv cs.OS LLM服务
5 驯服投机搜索:让测试时扩展在 LLM 服务中高效落地 arXiv cs.OS LLM服务
6 用 TLX 在 Blackwell 上优化 Jagged Flash Attention 迈向 SOTA FA4 PyTorch Blog GPU内核
7 Olmo-core 3:面向大规模 MoE 的开源可扩展训练基础设施 HuggingFace Blog 分布式训练

自动生成 · 2026-10-02 · jeffinchen daily tech reading list

评论