📰 2026-06-27 · 每日技术速递
今日精选 6 篇深度技术文章,覆盖 LLM推理优化、扩散模型加速、参数高效微调、稀疏矩阵计算、GNN硬件加速、vLLM服务部署。
1. 长程 LLM 推理中的上下文复用
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2606.26105
标签:LLM推理 · 上下文窗口 · KV缓存 · 长程对话 · 推理效率
大语言模型在短上下文推理上表现出色,但随对话轮数增加性能持续下降。本文提出 Context Recycling 方法,通过复用并压缩历史上下文 KV 状态,减少长程推理的内存占用与计算开销,在不损失性能的前提下显著提升多轮对话的推理吞吐量。
核心要点:
- 识别了长程推理中 KV Cache 爆炸导致的性能瓶颈
- 提出上下文复用机制,将历史轮次的 KV 状态以压缩形式保留
- 无需重新训练,可直接嵌入现有 Transformer 推理系统
- 在多轮对话基准上显示出推理效率与质量的双重提升
2. Dynamic-dLLM:扩散语言模型的无训练推理加速
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2606.26120
标签:扩散LLM · 并行解码 · KV缓存 · 推理加速 · 无训练优化
扩散大语言模型(dLLMs)因双向上下文建模能力被视为自回归模型的有力替代,但其推理速度慢。Dynamic-dLLM 提出动态 Cache Budget 分配与自适应并行解码策略,在无需任何训练的情况下大幅加速 dLLM 推理,且不牺牲生成质量。
核心要点:
- 扩散 LLM 存在推理延迟高的核心缺陷,本文系统分析其瓶颈
- 动态 Cache Budget 按层分配 KV 缓存,减少冗余计算
- 自适应并行解码策略利用扩散模型的天然并行性加速 token 生成
- 无训练即用,可直接应用于现有 dLLM 模型(如 MDLM、Plaid 等)
3. 基于 Hankel 降阶建模的 SSM 适配器:注入位置决定任务适用性
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2606.26290
标签:PEFT · SSM · 状态空间模型 · 参数高效微调 · 适配器
参数高效微调(PEFT)通常针对注意力层,但对状态空间模型(SSM)的适配研究不足。本文基于 Hankel 降阶建模理论,系统研究 SSM 适配器的注入位置对下游任务效果的影响,揭示了不同注入策略与任务类型之间的对应规律。
核心要点:
- 将 Hankel 矩阵降阶建模理论引入 SSM 适配器设计,提供理论支撑
- 系统评估了在 SSM 不同组件(状态矩阵、输入/输出投影等)注入适配器的效果
- 发现注入位置与任务类型(分类/生成/推理)存在强相关性
- 对 Mamba 等 SSM 架构的 PEFT 实践具有直接指导意义
4. SegFold:细粒度动态数据流加速稀疏矩阵乘法
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2606.19791
标签:稀疏GEMM · GPU加速 · 硬件架构 · 矩阵计算 · 深度学习推理
稀疏矩阵乘法(Sparse GEMM)是模型剪枝与稀疏推理的核心算子,但现有 GPU 实现难以高效利用非结构化稀疏性。SegFold 提出细粒度动态数据流架构,通过段折叠(Segment Folding)技术重组稀疏计算,在 GPU 上实现显著的稀疏 GEMM 加速。
核心要点:
- 分析了现有稀疏 GEMM 实现在不规则稀疏模式下的性能瓶颈
- 提出段折叠(SegFold)数据流,动态重组非零元素以提高 GPU 利用率
- 细粒度调度策略减少 warp 发散,提升 SIMD 效率
- 在主流 GPU 上验证,相比 cuSPARSE 和 Sputnik 等基线有显著提升
5. GRAINS:面向 GNN 推理的存储感知算法-架构协同设计
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2606.19856
标签:GNN推理 · 架构协同设计 · 存储优化 · 硬件加速 · 图神经网络
图神经网络(GNN)推理面临不规则内存访问和计算密度低的双重挑战。GRAINS 提出存储感知的算法-架构协同设计框架,通过在算法层重组图计算模式、在硬件层定制存储层次结构,实现高效 GNN 推理加速器设计。
核心要点:
- 揭示了 GNN 推理中不规则内存访问导致的带宽利用率低问题
- 算法层引入存储感知的计算图重排,减少随机访问
- 硬件层设计定制化存储层次(片上 SRAM 划分策略),匹配 GNN 访问模式
- 端到端协同优化,在 FPGA 和 ASIC 目标上均验证了性能与能效提升
6. 一行命令在 HuggingFace Jobs 上运行 vLLM 推理服务
来源:HuggingFace Blog
链接:https://huggingface.co/blog/vllm-jobs
标签:vLLM · 推理服务 · HuggingFace · 部署工程 · LLM服务化
HuggingFace 推出与 vLLM 的深度集成,通过 HF Jobs 功能实现一行命令部署高性能 LLM 推理服务。文章介绍了如何利用 vLLM 的 PagedAttention、continuous batching 等特性,配合 HF 基础设施快速搭建生产级推理端点,降低了 LLM 服务化的工程门槛。
核心要点:
- 介绍 HF Jobs + vLLM 的完整集成方案,支持一行命令启动推理服务
- 利用 vLLM PagedAttention 与 continuous batching 提升吞吐量
- 无缝接入 HuggingFace Hub 上的模型权重,简化部署流程
- 适用于快速原型验证和生产级 LLM 服务部署场景
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | 长程 LLM 推理中的上下文复用 | arXiv cs.CL | 推理优化 |
| 2 | Dynamic-dLLM:扩散语言模型的无训练推理加速 | arXiv cs.CL | 推理加速 |
| 3 | 基于 Hankel 降阶建模的 SSM 适配器:注入位置决定任务适用性 | arXiv cs.LG | 高效训练 |
| 4 | SegFold:细粒度动态数据流加速稀疏矩阵乘法 | arXiv cs.AR | GPU/稀疏计算 |
| 5 | GRAINS:面向 GNN 推理的存储感知算法-架构协同设计 | arXiv cs.AR | 硬件加速 |
| 6 | 一行命令在 HuggingFace Jobs 上运行 vLLM 推理服务 | HuggingFace Blog | 推理部署 |
自动生成 · 2026-06-27 · jeffinchen daily tech reading list
评论