← Reading List
📰 技术速递

LLM 推理优化 · 稀疏计算加速 · 高效微调

Tech多源前沿

📰 2026-06-27 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 LLM推理优化、扩散模型加速、参数高效微调、稀疏矩阵计算、GNN硬件加速、vLLM服务部署。


1. 长程 LLM 推理中的上下文复用

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2606.26105
标签:LLM推理 · 上下文窗口 · KV缓存 · 长程对话 · 推理效率

大语言模型在短上下文推理上表现出色,但随对话轮数增加性能持续下降。本文提出 Context Recycling 方法,通过复用并压缩历史上下文 KV 状态,减少长程推理的内存占用与计算开销,在不损失性能的前提下显著提升多轮对话的推理吞吐量。

核心要点:

  • 识别了长程推理中 KV Cache 爆炸导致的性能瓶颈
  • 提出上下文复用机制,将历史轮次的 KV 状态以压缩形式保留
  • 无需重新训练,可直接嵌入现有 Transformer 推理系统
  • 在多轮对话基准上显示出推理效率与质量的双重提升

2. Dynamic-dLLM:扩散语言模型的无训练推理加速

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2606.26120
标签:扩散LLM · 并行解码 · KV缓存 · 推理加速 · 无训练优化

扩散大语言模型(dLLMs)因双向上下文建模能力被视为自回归模型的有力替代,但其推理速度慢。Dynamic-dLLM 提出动态 Cache Budget 分配与自适应并行解码策略,在无需任何训练的情况下大幅加速 dLLM 推理,且不牺牲生成质量。

核心要点:

  • 扩散 LLM 存在推理延迟高的核心缺陷,本文系统分析其瓶颈
  • 动态 Cache Budget 按层分配 KV 缓存,减少冗余计算
  • 自适应并行解码策略利用扩散模型的天然并行性加速 token 生成
  • 无训练即用,可直接应用于现有 dLLM 模型(如 MDLM、Plaid 等)

3. 基于 Hankel 降阶建模的 SSM 适配器:注入位置决定任务适用性

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2606.26290
标签:PEFT · SSM · 状态空间模型 · 参数高效微调 · 适配器

参数高效微调(PEFT)通常针对注意力层,但对状态空间模型(SSM)的适配研究不足。本文基于 Hankel 降阶建模理论,系统研究 SSM 适配器的注入位置对下游任务效果的影响,揭示了不同注入策略与任务类型之间的对应规律。

核心要点:

  • 将 Hankel 矩阵降阶建模理论引入 SSM 适配器设计,提供理论支撑
  • 系统评估了在 SSM 不同组件(状态矩阵、输入/输出投影等)注入适配器的效果
  • 发现注入位置与任务类型(分类/生成/推理)存在强相关性
  • 对 Mamba 等 SSM 架构的 PEFT 实践具有直接指导意义

4. SegFold:细粒度动态数据流加速稀疏矩阵乘法

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2606.19791
标签:稀疏GEMM · GPU加速 · 硬件架构 · 矩阵计算 · 深度学习推理

稀疏矩阵乘法(Sparse GEMM)是模型剪枝与稀疏推理的核心算子,但现有 GPU 实现难以高效利用非结构化稀疏性。SegFold 提出细粒度动态数据流架构,通过段折叠(Segment Folding)技术重组稀疏计算,在 GPU 上实现显著的稀疏 GEMM 加速。

核心要点:

  • 分析了现有稀疏 GEMM 实现在不规则稀疏模式下的性能瓶颈
  • 提出段折叠(SegFold)数据流,动态重组非零元素以提高 GPU 利用率
  • 细粒度调度策略减少 warp 发散,提升 SIMD 效率
  • 在主流 GPU 上验证,相比 cuSPARSE 和 Sputnik 等基线有显著提升

5. GRAINS:面向 GNN 推理的存储感知算法-架构协同设计

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2606.19856
标签:GNN推理 · 架构协同设计 · 存储优化 · 硬件加速 · 图神经网络

图神经网络(GNN)推理面临不规则内存访问和计算密度低的双重挑战。GRAINS 提出存储感知的算法-架构协同设计框架,通过在算法层重组图计算模式、在硬件层定制存储层次结构,实现高效 GNN 推理加速器设计。

核心要点:

  • 揭示了 GNN 推理中不规则内存访问导致的带宽利用率低问题
  • 算法层引入存储感知的计算图重排,减少随机访问
  • 硬件层设计定制化存储层次(片上 SRAM 划分策略),匹配 GNN 访问模式
  • 端到端协同优化,在 FPGA 和 ASIC 目标上均验证了性能与能效提升

6. 一行命令在 HuggingFace Jobs 上运行 vLLM 推理服务

来源:HuggingFace Blog
链接:https://huggingface.co/blog/vllm-jobs
标签:vLLM · 推理服务 · HuggingFace · 部署工程 · LLM服务化

HuggingFace 推出与 vLLM 的深度集成,通过 HF Jobs 功能实现一行命令部署高性能 LLM 推理服务。文章介绍了如何利用 vLLM 的 PagedAttention、continuous batching 等特性,配合 HF 基础设施快速搭建生产级推理端点,降低了 LLM 服务化的工程门槛。

核心要点:

  • 介绍 HF Jobs + vLLM 的完整集成方案,支持一行命令启动推理服务
  • 利用 vLLM PagedAttention 与 continuous batching 提升吞吐量
  • 无缝接入 HuggingFace Hub 上的模型权重,简化部署流程
  • 适用于快速原型验证和生产级 LLM 服务部署场景

📊 今日速览

# 标题摘要 来源 方向
1 长程 LLM 推理中的上下文复用 arXiv cs.CL 推理优化
2 Dynamic-dLLM:扩散语言模型的无训练推理加速 arXiv cs.CL 推理加速
3 基于 Hankel 降阶建模的 SSM 适配器:注入位置决定任务适用性 arXiv cs.LG 高效训练
4 SegFold:细粒度动态数据流加速稀疏矩阵乘法 arXiv cs.AR GPU/稀疏计算
5 GRAINS:面向 GNN 推理的存储感知算法-架构协同设计 arXiv cs.AR 硬件加速
6 一行命令在 HuggingFace Jobs 上运行 vLLM 推理服务 HuggingFace Blog 推理部署

自动生成 · 2026-06-27 · jeffinchen daily tech reading list

评论