← Reading List
📰 技术速递

技术速递 2026-04-11:LLM推理加速 · 内存高效微调 · 推测解码 · GQA架构分析

TecharXivLLM推理内存优化推测解码GQA注意力机制

今日精选(7 篇)

1. GRASS:内存高效 LLM 微调的梯度自适应层重要性采样

来源:arXiv cs.CL | 论文链接

大语言模型全参数微调受限于 GPU 显存。低秩适应方法(如 LoRA)通过约束参数更新矩阵的秩来降低内存使用,但会牺牲模型表达力。GRASS 提出基于梯度的自适应层重要性采样策略,动态为不同层分配低秩适配资源——重要层获得更高秩的更新能力,从而在内存约束下最大化微调效果。

2. Fast Heterogeneous Serving:异构 GPU 混合规模 LLM 推理的 SLO 约束分配

来源:arXiv cs.LG | 论文链接

大规模 LLM 推理需要联合选择基础模型、配置异构 GPU、管理并行度及 KV Cache,以满足延迟 SLO。本文提出混合规模分配框架,针对不同请求动态路由到不同规模的模型实例,在保障 SLO 的同时显著降低算力成本和尾延迟。

3. AsyncTLS:异步两级稀疏注意力机制加速 LLM 长文本推理

来源:arXiv cs.CL | 论文链接

LLM 长文本推理面临二次方注意力复杂度和庞大 KV Cache 内存双重挑战。AsyncTLS 提出异步两级稀疏注意力:Token 级稀疏在不同层动态过滤无关 Token;块级 KV Cache 稀疏则离线卸载不活跃缓存,在极长上下文下保持高吞吐和低延迟。

4. DIVERSED:动态集成验证的宽松推测解码

来源:arXiv cs.CL | 论文链接

推测解码通过并行草稿多个 Token 来加速 LLM 推理。DIVERSED 放宽验证条件,引入动态集成验证机制:多个草稿模型协同生成候选,通过集成投票替代单一 Target 模型验证,显著提升接受率和吞吐量。

5. GQA Transformer 中敏感性与位置的协同定位分析

来源:arXiv cs.CL | 论文链接

深入研究分组查询注意力(GQA)Transformer 的结构性问题,揭示对任务正确性最敏感的层与位置偏好的协同定位现象,为模型剪枝、量化和结构优化提供新的理论依据。

6. 自回归视频生成模型训练加速:局部优化范式

来源:arXiv cs.LG | 论文链接

提出局部优化范式,通过解耦长序列依赖、分段局部更新梯度,在不损失生成质量的前提下大幅降低训练内存占用和时间。

7. 稳定边缘的谱生命周期:梯度学习到权重衰减压缩的非保守动力学

来源:arXiv cs.LG | 论文链接

分析 Edge of Stability 处的谱结构,揭示主导方向上保守律的破坏机制,建立从训练初期梯度学习到后期权重衰减压缩的完整谱生命周期理论。


arXiv cs.LG / cs.CL | 2026-04-11

评论