← Reading List
📰 技术速递

MoE推理加速 · 长上下文稀疏注意力 · GPU指令码 · 分布式3D加速 · 自投机解码

Tech多源前沿

📰 2026-08-25 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 MoE 推理加速、长上下文稀疏注意力、GPU SASS 机器码、3D 堆叠分布式推理、自投机解码与 Agent 自进化记忆。

1. SPICE:面向 MoE 推理加速的投机预取框架

来源:arXiv cs.AR (2608.21240) 链接:https://arxiv.org/abs/2608.21240 标签:MoE · 推理加速 · 专家卸载 · CPU-GPU编排 MoE 模型因稀疏激活解耦了容量与算力,但庞大的专家参数常超 GPU 显存,使推理延迟被专家加载的 host-to-device PCIe 传输主导。SPICE 提出投机预取框架,结合轻量专家预测与置信度感知的 CPU-GPU 异构编排,用与目标 MoE 对齐的轻量草稿模型预测下一个专家并提前搬运,显著削减 PCIe 传输等待。

核心要点:

  • 轻量草稿模型对齐目标 MoE 架构,预测下一专家以提前预取权重
  • 置信度感知的自适应 CPU-GPU 编排,在预测不准时回退精确路径
  • 针对专家参数超出显存导致的 PCIe 传输瓶颈做端到端加速

2. BF1:面向长上下文 Transformer 的因果二进稀疏注意力改造

来源:arXiv cs.LG (2608.20427) 链接:https://arxiv.org/abs/2608.20427 标签:长上下文 · 稀疏注意力 · 推理效率 · 延迟建模 密集因果注意力在长上下文下即便用高度优化的精确 kernel 依然昂贵。BF1 提出确定性的块对齐二进稀疏注意力路径,融合小的精确局部邻域、全局首块与对数间隔的历史块。其核心贡献是正确性门控的预训练模型改造、匹配的拓扑控制研究,以及将逐层稀疏度与整模型延迟关联起来的系统刻画。固定块宽下每层仅 O(n log n) 被选 token 交互、O(log n) 图通信。

核心要点:

  • 块对齐二进稀疏路径:局部邻域 + 全局首块 + 对数间隔历史块
  • 正确性门控 retrofit,可直接改造已有预训练模型而无需重训
  • 系统刻画将逐层稀疏度映射到整模型端到端延迟,指导部署

3. F2Asm:用 F2 线性代数学习 NVIDIA SASS 精确编码器

来源:arXiv cs.LG (2608.20532) 链接:https://arxiv.org/abs/2608.20532 标签:GPU · SASS汇编 · 机器码改写 · F2线性代数 NVIDIA 提供 SASS 反汇编器但近代数中心 GPU 无公开 SASS 汇编器,限制了可控的机器码改写。F2Asm 从成对的『反汇编-原始 CUBIN 指令字』中学习精确的 128 位 SASS 编码器,是首个将 SASS 指令编码器学习为 F2 上向量值仿射映射的系统,也是首个支持 Rubin SM107 的开源 NVIDIA SASS 汇编器。它在 F2 上用高斯消元逐步构建紧凑基、检测不一致并拒斥超出学习张成空间的输入。

核心要点:

  • 将 SASS 编码学习为 F2 上的向量值仿射映射,首个此类系统
  • 首批支持 Rubin SM107 的开源 NVIDIA SASS 汇编器
  • F2 高斯消元构建紧凑基、检测不一致、拒斥非法输入

4. DeepStack:面向分布式 3D DRAM 堆叠加速器的协同设计探索

来源:arXiv cs.AR (2604.04750) 链接:https://arxiv.org/abs/2604.04750 标签:3D DRAM · 分布式推理 · 软硬协同 · 设计空间探索 混合键合与封装进步推动了 3D DRAM 堆叠加速器的发展,而 LLM 扩展到数千亿/万亿参数后,跨多 3D 芯片的分布式推理成为未来 AI 服务的必需。DeepStack 提出精准且高效的性能模型与工具,支持分布式 3D 堆叠 AI 系统的早期软硬协同设计空间探索:硬件层捕获细粒度 3D 内存语义(事务感知带宽、bank 激活约束、缓冲限制、热-功耗建模),系统层纳入压缩等优化。

核心要点:

  • 硬件层建模 3D 内存细粒度语义:事务带宽、bank 约束、热-功耗
  • 系统层协同一体化,支持早期软硬协同设计空间探索
  • 面向数百亿到万亿参数 LLM 的跨多 3D 芯片分布式推理

5. SSR:面向推理模型的免训练自投机解码

来源:arXiv cs.CL (2608.20359) 链接:https://arxiv.org/abs/2608.20359 标签:推理加速 · 自投机解码 · 免训练 · 推理模型 LLM 在规划与多步决策任务上需要生成长推理链,但这与语音助手、编程 Agent 等延迟敏感场景冲突。现有加速方法多聚焦 token 级生成、未利用推理工作流结构。SSR(Self-Speculation for Reasoning Models)提出一种免训练的自投机解码方法,利用推理过程的结构特性加速生成而不损失质量。

核心要点:

  • 免训练自投机解码,直接加速推理模型的长链生成
  • 利用推理工作流结构而非仅 token 级并行
  • 面向语音助手、编码 Agent 等延迟敏感交互场景

6. AgRefactor:面向 HLS 兼容与性能的自进化多智能体工作流

来源:arXiv cs.AR (2606.30949) 链接:https://arxiv.org/abs/2606.30949 标签:HLS · 编译器 · 多智能体 · 自进化记忆 高层综合(HLS)提供从概念到硅片的快速路径,但将真实软件转为可综合 HLS 代码仍因受限的语言支持与软硬编程鸿沟而困难。AgRefactor 提出基于 LLM 的多智能体工作流来重构软件为 HLS 兼容程序,并引入自进化记忆系统,持续累积并检索过往重构经验以迭代提升兼容性与性能。

核心要点:

  • LLM 多智能体工作流,将软件重构为 HLS 可综合代码
  • 自进化记忆系统累积/检索历史经验,迭代提升质量
  • 相比传统自动化/LLM 方法更具灵活性、可扩展性且成本低

7. ALTK-Evolve:用更少 token 实现 Agent 自进化记忆

来源:Hugging Face Blog (IBM Research) 链接:https://huggingface.co/blog/ibm-research/altk-evolve-sldd 标签:Agent · 推理效率 · 自进化记忆 · 少样本学习 ACE 与 ALTK-Evolve 都让 Agent 从自身轨迹中学习,区别在于学到什么、如何回馈。两者都是一种 Agentic 记忆:把 Agent 过去轨迹转为可复用经验并在推理时反馈,无需权重更新、无需人工标注。ALTK-Evolve 通过更紧凑的经验表示与回灌方式降低 token 开销,在相同多步任务上以更少 token 达成可比甚至更优的可靠性提升。

核心要点:

  • Agentic 记忆:从自身轨迹学习,推理时反馈,无需微调或标注
  • ALTK-Evolve 相比 ACE 以更少 token 达成可靠性的提升
  • 面向多步真实任务(账单拆分、跨应用订单核对)的失败自愈

📊 今日速览

# 标题摘要 来源 方向
1 SPICE:面向 MoE 推理加速的投机预取框架 arXiv cs.AR MoE推理加速
2 BF1:面向长上下文 Transformer 的因果二进稀疏注意力改造 arXiv cs.LG 长上下文效率
3 F2Asm:用 F2 线性代数学习 NVIDIA SASS 精确编码器 arXiv cs.LG GPU机器码
4 DeepStack:面向分布式 3D DRAM 堆叠加速器的协同设计探索 arXiv cs.AR 分布式推理
5 SSR:面向推理模型的免训练自投机解码 arXiv cs.CL 推理加速
6 AgRefactor:面向 HLS 兼容与性能的自进化多智能体工作流 arXiv cs.AR 编译器/HLS
7 ALTK-Evolve:用更少 token 实现 Agent 自进化记忆 Hugging Face Blog Agent记忆

自动生成 · 2026-08-25 · jeffinchen daily tech reading list

评论