← Reading List
📰 技术速递

LLM 推理加速与异构算力协同

Tech多源前沿

📰 2026-10-23 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 KV Cache 保留、投机解码、长向量 FlashAttention、GPU-NPU 异构、MXFP4 量化、训练后剪枝与 MoE 解码加速。


1. 去留之间:面向分离式 LLM 推理的 KV Cache 保留学习

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2610.28637 标签:KV Cache · 分离式推理 · 缓存保留 · 前缀复用 · LLM 服务

分离式 LLM 服务将 prefill 与 decode 分布到不同节点池,KV Cache 命中失败不再只是本地重算,还会触发跨网络传输,使得传统缓存策略的假设被打破。论文提出 KVLearn 框架,包含轻量前缀复用预测器(PRP)、成本感知保留评分(CARS)与自适应阈值控制器(ATC),在不改动模型权重的前提下做出保持/准入决策。在文本与多模态负载上,相较 No-Cache / LRU-Pool / Mooncake,端到端 TTFT 最高降低 56% / 38% / 33%。

核心要点:

  • 指出现代分离式架构下缓存未命中会引入网络传输成本,经典 LRU 策略失效
  • PRP 用结构与时间前缀特征估计复用概率,CARS 将其转化为 keep/admit 决策
  • ATC 根据在线命中率与内存压力动态调整准入阈值
  • 在图文/视频派生的大块 KV 上验证,TTFT 较基线大幅降低

2. 目标重写削弱草稿训练增益:投机解码中的再生成基线

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2610.29013 标签:投机解码 · 草稿训练 · 模型蒸馏 · 推理加速

投机解码通过并行验证草稿 token 来加速大语言模型,新提出的草稿训练目标常被归功于其相对交叉熵的接受率提升。本文发现许多流水线会允许目标模型重写草稿,而一旦施加贪心再生成(target regeneration),蒸馏目标带来的增益会明显缩水、门控蒸馏几乎失效。该现象在多种数据顺序、位置权重、验证器、温度乃至文本-only 复现下均稳健存在,呼吁以目标重写后的基线来公正衡量目标增益。

核心要点:

  • 揭示投机解码评估中 target regeneration 会抵消大量草稿训练增益
  • 蒸馏与门控蒸馏在外生响应上增益大,但再生成后显著缩水
  • 效应跨数据顺序、验证器、温度、初始化与学习率稳健存在
  • 建议在新目标评估中引入 target-regenerated 基线并跨训练长度比较

3. 重排向量轴:为长向量处理器重构 FlashAttention

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2610.29489 标签:FlashAttention · 长向量处理器 · RISC-V · 注意力优化 · 算子重构

注意力计算随序列长度平方增长,FlashAttention 通过分块与在线 softmax 控制开销,但后续优化几乎都面向 GPU。长向量处理器中一个向量寄存器可容纳最多 512 个单精度数,向量指令的收益正比于寄存器占用,因此选择对哪个循环向量化成为一阶决策。作者将 PyTorch CPU FlashAttention 移植到具备 2KB 向量寄存器的 RISC-V CPU,仅达峰值浮点吞吐的 16.2%,并据此提出两项重构技术:转置 score tile 与运行输出使查询位于连续轴,从而消除两类规约并让单一参数统一设置各阶段向量长度。

核心要点:

  • 指出 FlashAttention 后续工作几乎全面向 GPU,长向量处理器被忽视
  • 在 2KB 向量寄存器 RISC-V 上复现 CPU FlashAttention 仅达 16.2% 峰值
  • 转置 score/输出 tile,使查询沿连续轴,消除 softmax 两类规约
  • 单一 tile 查询数参数即可匹配整机向量长度,提升寄存器利用率

4. HAWK:面向 GPU-NPU 异构分阶段推理的 KV Cache 传输

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2610.29873 标签:KV Cache 传输 · GPU-NPU 异构 · RDMA · 分阶段推理

LLM 推理的两阶段特性显著:prefill 计算密集、decode 显存带宽受限。GPU 适合 prefill 却在 decode 期利用率不足,而 NPU 在 decode 期能更充分利用算力。论文探索将 prefill 映射到 GPU、decode 映射到 NPU 的异构架构,但跨设备 KV Cache 传输受通信机制与张量布局差异阻碍。为此提出 HAWK,建立 RDMA 直连路径并在传输中处理布局差异,在 NPU 侧分配布局感知的 RDMA 缓冲以匹配目标张量布局,从而加速异构分阶段推理。

核心要点:

  • 利用 prefill/decode 异构特性,将两阶段分别映射到 GPU 与 NPU
  • 跨设备 KV Cache 传输面临通信机制与张量布局双重差异
  • HAWK 建立 RDMA 直连路径,传输同时完成布局转换
  • NPU 侧分配布局感知 RDMA 缓冲,匹配目标张量布局

5. 用整数算术判定 MXFP4 点积中的缩放放置

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2610.29445 标签:MXFP4 · 低精度 · 编译器 · 量化 · 数值等价

OCP 的 microscaling(MX)家族包含 MXFP4,以共享 2 的幂缩放存储 32 个四比特元素。编译器在点积归约中可先缩放再归约、也可延后缩放,二者在实数上等价,却可能因溢出/下溢产生不同 IEEE binary32 结果,且等价性依赖归约树结构。本文推导两种形式逐位等价的条件,构建利用有限元素字母表与共享缩放的整数状态机建模溢出、NaN 与亚规约舍入,并证明其有界正确性,最终将等价判定编码为量词自由线性整数算术(QF_LIA)。

核心要点:

  • MXFP4 点积中缩放放置(提前/延后)在实数上等价但浮点上未必
  • 推导两种编译器重写形式逐位等价的条件
  • 用整数状态机建模溢出、NaN、亚规约舍入,证明有界正确性
  • 将等价判定编码为 QF_LIA,给出缩放指数和的可闭式上界

6. 构建嵌套 LADDER:LLM 非结构化训练后剪枝

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2610.28773 标签:训练后剪枝 · 稀疏化 · LADDER · 大模型压缩

非均匀稀疏分配能改善大模型训练后剪枝,但在高稀疏度下质量仍会急剧退化。论文提出 LADDER(Layer-Wise Allocation via Damage-Driven Evaluation and Refinement),以增量方式分配稀疏度:每步评估从各候选层再剪除一部分权重的端到端退化,提交单位参数去除代价最小的那次更新,从而生成非均匀稀疏剖面与跨多预算的精确嵌套掩码。在 5 个 OPT/Llama/Qwen 模型、10%–90% 稀疏度下,LADDER 在 70% 以上稀疏度时显著更稳健,并在后验蒸馏后于 4/5 模型上保留优势。

核心要点:

  • 非均匀分配改善剪枝,但高稀疏度下质量退化严重
  • LADDER 增量分配稀疏度,每步选退化/去参比最小的层更新
  • 产出非均匀稀疏剖面与跨预算的精确嵌套掩码
  • 70%+ 稀疏度显著更稳健,后验蒸馏后仍保留优势

7. CARDAN:面向 AWS Trainium 的 MoE 解码多引擎数据流

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2609.21137 标签:MoE · AWS Trainium · 向量量化 · 解码加速 · 数据流

在基于 scratchpad 的张量加速器(STA)上,MoE 解码的瓶颈在于搬运专家权重而计算引擎闲置;专家在路由后才可知、难以隐藏,且难以在不损质量或增加关键路径的前提下缩小。论文提出 CARDAN,将每个专家权重矩阵表示为向量量化分量加共享基低秩分量,并与多引擎解码数据流协同设计,分离专家通用与私有计算,使 DMA 与多引擎计算重叠。在 AWS Trainium3 上 5 个 MoE 家族中,CARDAN 匹配或改善 BF16 教师困惑度,并将 batch-1 解码加速 1.15–1.31x,batch-16 时达 1.7x。

核心要点:

  • MoE 解码受专家权重搬运主导,计算引擎常闲置
  • 将专家权重拆为向量量化分量 + 共享基低秩分量
  • 多引擎数据流重叠 DMA 与计算,分离通用/私有工作
  • Trainium3 上困惑度不劣于 BF16 教师,解码加速最高 1.7x

📊 今日速览

# 标题摘要 来源 方向
1 去留之间:面向分离式 LLM 推理的 KV Cache 保留学习 arXiv cs.LG 推理系统 / KV Cache
2 目标重写削弱草稿训练增益:投机解码中的再生成基线 arXiv cs.CL 推理加速 / 投机解码
3 重排向量轴:为长向量处理器重构 FlashAttention arXiv cs.AR 编译器 / 算子优化
4 HAWK:面向 GPU-NPU 异构分阶段推理的 KV Cache 传输 arXiv cs.AR 异构加速 / KV 传输
5 用整数算术判定 MXFP4 点积中的缩放放置 arXiv cs.AR 量化 / 编译器
6 构建嵌套 LADDER:LLM 非结构化训练后剪枝 arXiv cs.LG 模型压缩 / 剪枝
7 CARDAN:面向 AWS Trainium 的 MoE 解码多引擎数据流 arXiv cs.AR 分布式 / MoE 加速

自动生成 · 2026-10-23 · jeffinchen daily tech reading list

评论