← Reading List
📰 技术速递

LLM 推理加速专题:异构调度、MoE 内核、稀疏注意力与剪枝,兼看 FHE GPU 架构与系统代码形式化验证

Tech多源前沿

📰 2026-07-30 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM 推理加速(异构调度 / MoE 内核 / 稀疏注意力 / 稀疏张量 / 模块剪枝)、FHE GPU 微架构、系统代码形式化验证。


1. 超越 Prefill-Decode 分离:基于动态算子调度的异构平台 LLM 推理剖析

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.25498 标签:LLM推理 · 异构计算 · 算子调度 · Prefill-Decode分离

Prefill-Decode 分离(PD)和基于 roofline 模型的算子放置是在异构系统上切分 LLM 推理的常见策略,但在实践中往往不够用——端到端延迟还取决于负载形状、运行时设备争用和权重常驻布局。本文提出 DOPS 动态算子调度框架,在运行时结合工作负载特征和设备状态做细粒度算子级调度决策,突破静态切分的性能瓶颈。

核心要点:

  • 指出静态 PD 分离与 roofline 放置忽略了负载形状、设备争用、权重布局三大动态因素
  • 提出动态算子调度(DOPS),以算子为粒度在异构设备间实时分派
  • 面向 CPU/GPU/NPU 混合平台的 LLM 推理端到端延迟优化

2. Decoding the Skew:分布感知的 MoE 推理与自适应内核派发

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.23099 标签:MoE · GEMM内核 · 推理加速 · 路由分布

MoE 推理由一组稀疏专家 GEMM 组成,其矩阵形状随运行时路由分布而变化。现有服务系统通常用静态 token 数量分桶来选择 fused-MoE 内核,忽略了决定 tile padding、显存复用和内核效率的每专家路由分布。本文提出分布感知的自适应内核派发机制,根据实际路由倾斜度动态选择最优内核配置。

核心要点:

  • 揭示 MoE 路由分布倾斜(skew)对 GEMM 内核效率的关键影响
  • 静态 token 分桶选内核会造成 tile padding 浪费与访存低效
  • 自适应内核派发根据每专家 token 分布在线选择最优 fused-MoE 内核

3. CoSA:代理-内核协同设计的稀疏注意力加速长上下文推理

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2607.25291 标签:稀疏注意力 · 长上下文 · 内核优化 · KV Cache

自注意力的二次方开销让长上下文推理代价高昂,基于代理(proxy)的块稀疏注意力成为实用解法。现有方法通常由 proxy 预测二值稀疏掩码、再由内核消费掩码执行稀疏计算,两者相互割裂。CoSA 将 proxy 预测与稀疏内核协同设计,使掩码生成与内核执行特性对齐,在保持精度的同时进一步提升长上下文推理吞吐。

核心要点:

  • 指出 proxy 掩码预测与稀疏内核执行割裂导致的效率损失
  • 提出 proxy 与 kernel 协同设计的块稀疏注意力方案
  • 面向长上下文推理场景,兼顾精度与硬件执行效率

4. 向量处理器上贴近 Roofline 的稀疏张量收缩:面向 Transformer 推理

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.25504 标签:稀疏计算 · 向量处理器 · Gustavson数据流 · Transformer推理

细粒度权重剪枝与激活稀疏化是降低 Transformer 推理计算和访存成本的有效手段。本文面向中等稀疏度场景,采用 Gustavson 数据流在向量处理器上同时利用激活稀疏与权重稀疏,通过元数据驱动的执行模型让稀疏张量收缩逼近 roofline 性能上界,为通用向量架构上的高效稀疏推理提供了系统方案。

核心要点:

  • 中等稀疏度下 Gustavson 数据流天然适配双边稀疏(权重+激活)
  • 基于元数据的向量化执行让稀疏 GEMM 逼近 roofline 上界
  • 无需专用稀疏加速器,在通用向量处理器上即可获得收益

5. CausalGate:基于因果重要性蒸馏的 Transformer 模块剪枝

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2607.22720 标签:模型剪枝 · 因果推断 · 自适应推理 · LLM压缩

现有 LLM 自适应推理方法依赖观测式启发(隐状态相似度、激活幅值)来丢弃冗余模块,但这类相关性指标常常漏掉对语义精度至关重要的细微非线性结构计算。CausalGate 引入干预式的因果重要性度量,通过因果重要性蒸馏来指导 Transformer 模块剪枝,在压缩计算的同时更好保留模型语义能力。

核心要点:

  • 指出相关性启发式剪枝会误删语义关键模块
  • 用干预(intervention)度量模块的因果重要性,替代观测式指标
  • 因果重要性蒸馏成轻量门控,实现推理时自适应跳层/剪模块

6. FHECore:为全同态加密重新思考 GPU 微架构

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2602.22229 标签:全同态加密 · GPU微架构 · 隐私计算 · 硬件加速

全同态加密(FHE)支持直接在密文上计算,但计算与访存开销比明文执行高出多个数量级。定制 ASIC 虽能缓解,却面临流片周期长、FHE 算法快速演进导致过时的风险。FHECore 选择在 GPU 微架构层面做针对性改造,以较小的硬件改动获得接近专用加速器的 FHE 性能,兼顾灵活性与效率。

核心要点:

  • FHE 计算开销超明文数个数量级,ASIC 方案面临算法演进风险
  • 在 GPU 微架构上做增量改造,而非另起炉灶设计专用芯片
  • 兼顾可编程灵活性与 FHE 核心算子(NTT 等)的硬件效率

7. Specula:规模化形式化规约,实现系统代码的自主模型检查

来源:arXiv cs.OS
链接:https://arxiv.org/abs/2607.25333 标签:形式化验证 · TLA+ · LLM Agent · 系统软件

Specula 是一个”一键式”智能体系统,能为大型复杂系统代码自动生成高质量形式化规约,并用这些规约做高效的模型检查与 bug 挖掘。它利用 LLM 编码智能体自主编写 TLA+ 规约(包括描述正确性的不变量),把形式化方法的适用规模推向真实系统代码,是 LLM Agent 与形式化验证结合的代表性工作。

核心要点:

  • LLM 编码智能体自主生成 TLA+ 规约与正确性不变量
  • push-button 流程:从系统代码到模型检查全自动
  • 面向大型复杂系统代码的规模化 bug 挖掘

📊 今日速览

# 标题摘要 来源 方向
1 动态算子调度突破 PD 分离瓶颈 arXiv cs.AR LLM异构推理
2 分布感知 MoE 自适应内核派发 arXiv cs.AR MoE推理加速
3 CoSA 代理-内核协同稀疏注意力 arXiv cs.CL 长上下文推理
4 向量处理器稀疏张量贴近 Roofline arXiv cs.AR 稀疏计算
5 CausalGate 因果重要性模块剪枝 arXiv cs.LG 模型压缩
6 FHECore GPU 微架构支持 FHE arXiv cs.AR 隐私计算硬件
7 Specula 自主生成 TLA+ 规约查 bug arXiv cs.OS 形式化验证

自动生成 · 2026-07-30 · jeffinchen daily tech reading list

评论