← Reading List
📰 技术速递

LLM 推理加速与稀疏训练前沿进展

Tech多源前沿

📰 2026-05-29 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM 推理加速、稀疏训练优化、扩散语言模型、移动端 NPU 效率分析、近内存硬件加速等核心方向。


1. Gradient Transformer:学习为 LLM 生成参数更新

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.27591
标签:LLM · 元学习 · 参数高效微调 · 联邦学习 · 梯度优化

针对算力不足以直接微调大模型的场景,Gradient Transformer(GT)提出元学习框架:训练一个小型 Transformer 来预测 LLM 的梯度更新,从而让小模型(TinyLM)指导大模型的微调过程。该框架通过 TinyLM 的梯度作为输入,输出适用于 LLM 各层的参数 delta,实现低成本的私有数据适配。

核心要点:

  • 训练一个专用小 Transformer 生成 LLM 层级梯度更新,绕过直接反向传播的算力瓶颈
  • 支持私有(不可共享)数据场景,适用于数据孤岛中的模型定制
  • 元学习范式将「微调能力」转移到小模型,降低对大算力集群的依赖
  • 实验表明 GT 在多个 NLP 任务上优于单独微调 TinyLM 的基线

2. NPU 并非总是更快:移动端 LLM 推理的阶段级分析

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.27435
标签:移动推理 · NPU · 异构计算 · LLM 部署 · 算子级分析

本文首次对移动设备上 LLM 推理进行系统化的阶段级(stage-level)分析,刻画 NPU 在各算子和流水线阶段的真实效率。研究发现,受限于 NPU 的编程模型和内存带宽,在 prefill 阶段及稀疏算子上 CPU/GPU 往往比 NPU 更快,异构调度是提升端侧推理的关键。

核心要点:

  • 首个系统分析移动端 LLM 各推理阶段中 NPU vs CPU/GPU 效率的研究
  • 发现 prefill 阶段和稀疏算子是 NPU 效率的主要瓶颈
  • 提出阶段感知调度策略,指导异构芯片上的执行路径选择
  • 对端侧 LLM 部署工程(如骁龙/天玑平台)具有直接指导价值

3. EvoSpec:通过实时词表与参数自适应进化投机解码

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.27390
标签:投机解码 · LLM 推理加速 · 词表剪枝 · 动态适配 · Throughput

投机解码(Speculative Decoding)通过「草稿-验证」范式加速 LLM 推理,但随词表规模扩大,输出投影层成为瓶颈。EvoSpec 提出实时动态剪枝策略,根据运行时 token 分布自适应调整词表和投影参数,突破静态剪枝的精度上限,同时维持高吞吐。

核心要点:

  • 揭示大词表下输出投影层是投机解码的主要延迟来源
  • 实时词表自适应剪枝:根据当前 token 上下文动态选择有效词表子集
  • 参数动态适配机制,避免静态剪枝带来的分布偏移和精度损失
  • 在主流 LLM(Llama/Mistral 等)上验证,推理吞吐提升显著

4. AR to Diffusion:用因果弹性视野高效将 LLM 迁移至扩散模型

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.27387
标签:扩散语言模型 · 自回归迁移 · 并行文本生成 · 高效适配 · 注意力机制

扩散语言模型天然支持并行文本生成,但其双向注意力与预训练 AR 模型不兼容,无法复用已有的强大先验。本文提出严格因果(Strictly Causal)与弹性视野(Elastic Horizons)机制,使 AR 大模型能高效迁移到扩散范式,大幅降低从零训练扩散 LLM 的成本。

核心要点:

  • 揭示 AR 与 Diffusion 注意力范式的结构性不兼容根源
  • Strictly Causal 设计使扩散模型在推理时兼容因果掩码,避免信息泄露
  • Elastic Horizons 使模型可动态调整生成视野,提升并行效率
  • 迁移成本远低于从零训练,实验验证在文本生成质量和速度上的优势

5. SparseOpt:解决稀疏训练中归一化引发的梯度偏斜

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.27541
标签:稀疏训练 · 动态稀疏 · 梯度优化 · 归一化 · 模型压缩

动态稀疏训练(DST)通过动态调整网络拓扑保持稀疏性,理论上可大幅降低计算量,但收敛速度远慢于稠密训练。SparseOpt 发现根本原因是归一化层(BN/LN)在稀疏掩码下产生梯度偏斜,并提出针对性的修正方法,显著加速 DST 收敛并逼近稠密训练精度。

核心要点:

  • 首次揭示 BatchNorm/LayerNorm 在稀疏掩码下导致梯度统计量失真的机制
  • 提出 SparseOpt 梯度修正方案,补偿归一化引发的梯度偏斜
  • 收敛速度大幅提升,最终精度接近等参数量稠密训练
  • 对 DST 在大规模网络(ResNet/ViT)上的实用化有重要推进意义

6. Symmetric Attention Decomposition:从 Hopfield 视角平衡扩散模型的保真度与多样性

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.27476
标签:扩散模型 · Transformer 注意力 · Hopfield 网络 · 联想记忆 · 生成多样性

将 Transformer 的 pre-softmax 注意力矩阵 QKᵀ 解释为联想记忆矩阵,通过对称/反对称分解分别对应记忆检索(保真度)和模式探索(多样性)。基于 Hopfield 网络理论,提出对称注意力分解方法,通过调节两个分量的比例在保真度和多样性之间精确权衡。

核心要点:

  • 创新性地将注意力矩阵 QKᵀ 建模为 Hopfield 联想记忆,揭示其信息检索本质
  • 对称分解:对称部分→记忆精准检索(高保真),反对称部分→探索新模式(高多样)
  • 提供可调控的保真度-多样性权衡旋钮,无需重训练
  • 在图像扩散模型(DDPM/DiT)生成任务上验证效果

7. 近内存架构下 ILP 加速综合研究:稀疏性、面积、能耗与数据移动

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.17158
标签:近内存计算 · ILP 加速 · 稀疏架构 · 能耗优化 · 硬件设计

整数线性规划(ILP)广泛用于路由优化、流量调度等实际问题,但其稀疏、分支密集的计算特性使传统 CPU/GPU 效率低下。本文对近内存架构(Near-Memory Architecture)加速 ILP 进行全面评估,系统量化稀疏性处理、芯片面积、能耗和数据移动代价,为专用加速器设计提供指导。

核心要点:

  • 首次全面分析 ILP 在近内存架构上的加速特性,涵盖稀疏性、面积、功耗多维度
  • 量化数据移动开销(DRAM 带宽)是近内存 ILP 加速的关键瓶颈
  • 提出针对稀疏 ILP 工作负载的近内存架构设计建议
  • 对网络路由、地图路径规划等实际 ILP 应用场景的专用芯片设计有直接参考价值

📊 今日速览

# 标题摘要 来源 方向
1 Gradient Transformer:学习为 LLM 生成参数更新 arXiv cs.LG LLM 微调 / 元学习
2 NPU 并非总是更快:移动端 LLM 推理的阶段级分析 arXiv cs.AR 移动推理 / 硬件效率
3 EvoSpec:通过实时词表与参数自适应进化投机解码 arXiv cs.CL 推理加速 / 投机解码
4 AR to Diffusion:用因果弹性视野高效将 LLM 迁移至扩散模型 arXiv cs.CL 扩散 LLM / 生成效率
5 SparseOpt:解决稀疏训练中归一化引发的梯度偏斜 arXiv cs.LG 稀疏训练 / 模型压缩
6 Symmetric Attention Decomposition:从 Hopfield 视角平衡扩散模型的保真度与多样性 arXiv cs.LG 扩散模型 / 注意力机制
7 近内存架构下 ILP 加速综合研究:稀疏性、面积、能耗与数据移动 arXiv cs.AR 近内存计算 / 硬件加速器

自动生成 · 2026-05-29 · jeffinchen daily tech reading list

评论