← Reading List
📰 技术速递

推测解码加速 · MoE剪枝 · 量化压缩 · PyTorch 2.13

Tech多源前沿

📰 2026-07-13 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 推测解码加速、MoE专家剪枝、提示压缩、低秩正则化、极低比特量化、PyTorch 2.13。


1. DominoTree:用条件树结构草稿加速推测解码

来源:arXiv:cs.CL
链接:http://arxiv.org/abs/2607.08642v1
标签:推测解码 · 树结构草稿 · LLM推理加速 · 块扩散

推测解码通过快速草稿模型生成多个候选 token,再由目标模型并行验证,从而显著加速 LLM 推理。DominoTree 在此基础上提出条件树结构草稿(Conditional Tree-Structured Drafting):不同于 DFlash 等仅建模逐位置边缘分布的块扩散方法,DominoTree 引入”多米诺”顺序条件依赖,同时保留 DDTree 等最优先树扩展方案的优势。该方法在不增加验证开销的前提下显著提升草稿接受率,进而提升端到端吞吐量。

核心要点:

  • 条件树结构草稿融合块扩散与最优先树扩展两种范式,避免各自短板
  • 引入 Domino 顺序条件依赖,建模 token 间相关性,提升接受率
  • 适用于现有 LLM 推理框架,无需修改目标验证模型
  • 相比 DFlash 和 DDTree,实现更高的树接受率与推理加速

2. MAESTRO:系统性修剪 MoE 语言模型中的”坏专家”

来源:arXiv:cs.CL
链接:http://arxiv.org/abs/2607.08601v1
标签:MoE · 结构化剪枝 · 推理效率 · 专家稀疏化

稀疏激活的 MoE 语言模型虽然每个 token 只激活少量专家,但全部专家参数始终驻留在显存中,造成严重的部署瓶颈。MAESTRO 提出一套结构化剪枝框架,系统识别并移除”坏专家”——那些对模型输出贡献小但占用大量内存的专家层。与现有方法相比,MAESTRO 能在保持模型性能的同时大幅压缩 MoE 模型的实际内存占用,使大规模 MoE 部署更具可行性。

核心要点:

  • 针对 MoE 模型”全专家常驻内存”瓶颈,提出结构化专家剪枝方案
  • 设计专家重要性评估指标,精准定位贡献度低的”坏专家”
  • 剪枝后模型显存显著降低,同时保持下游任务性能
  • 为大规模 MoE 模型(如 Mixtral、DeepSeek-MoE)的边端部署提供实用路径

3. 激活聚合:将提示压缩为单个激活向量

来源:arXiv:cs.CL
链接:http://arxiv.org/abs/2607.08399v1
标签:提示压缩 · 激活向量 · KV缓存 · LLM效率

当 LLM 处理超长提示时,计算和内存开销随 token 数线性增长。本文探索了一条激进的压缩路径:能否将一段指令提示中所含的任务相关信息压缩为单一激活向量,并直接注入模型中间层,替代原始 token 序列?作者通过激活聚合(Activation Aggregation)方法,在多个指令跟随任务上验证了这一思路,展示了用极少量激活替代完整提示的可行性,为 KV 缓存复用和长上下文压缩提供了新视角。

核心要点:

  • 提出激活聚合方法,将指令提示压缩为单个激活向量后重注入中间层
  • 验证任务相关信息可被压缩表示,无需保留完整 token 序列
  • 对 KV 缓存压缩、系统提示缓存等实际优化场景具有直接启示
  • 在多个指令跟随 benchmark 上验证有效性,揭示 LLM 内部信息聚合机制

4. SLORR:训练时简单高效的低秩正则化

来源:arXiv:cs.LG
链接:http://arxiv.org/abs/2607.08754v1
标签:低秩正则化 · 模型压缩 · 训练优化 · SVD

低秩分解是压缩神经网络的主流方法,但现代大模型往往不天然具备良好的低秩结构,强行分解会损失大量精度。SLORR(Simple and Efficient In-Training Low-Rank Regularization)在训练阶段直接引入低秩正则化约束,使权重矩阵在训练过程中自然趋向低秩结构,从而在不依赖大规模 SVD 计算的前提下显著提升模型的事后可压缩性。方法实现简洁,计算开销低,可无缝集成到标准训练流程。

核心要点:

  • 训练时施加低秩正则化,引导权重矩阵天然趋向低秩结构
  • 避免事后压缩时大规模 SVD 带来的计算开销与精度损失
  • 实现简单,可集成至 PyTorch / HuggingFace 标准训练流程
  • 适用于 LLM、ViT 等大规模模型的高效压缩预处理

5. 无需训练的宽松推测解码实践调研

来源:arXiv:cs.LG
链接:http://arxiv.org/abs/2607.08690v1
标签:推测解码 · 无损加速 · 草稿模型 · 采样分布

标准推测解码保证无损性:拒绝-重采样步骤完全保留目标模型的采样分布。然而这一约束在某些场景下过于严格,”宽松推测解码”(Relaxed Speculative Decoding)允许以受控方式放宽精确分布匹配,从而换取更高的接受率和吞吐量。本文系统性调研了无需额外训练的宽松推测解码变体,比较不同放宽策略在质量-速度权衡上的表现,为生产部署提供实用指导。

核心要点:

  • 系统梳理宽松推测解码方法,对比各策略在接受率和输出质量上的权衡
  • 无训练要求,适合直接叠加在现有推测解码框架上使用
  • 揭示在可接受质量损失下可获得的额外加速空间
  • 为生产环境中推测解码的参数选择提供实验基准

6. BiSCo-LLM:极低比特球形编码压缩大语言模型

来源:arXiv:cs.LG
链接:http://arxiv.org/abs/2607.08643v1
标签:模型量化 · 极低比特 · 球形编码 · 权重压缩

随着 LLM 规模不断扩大,显存容量、带宽和存储成为核心瓶颈。BiSCo-LLM 提出无查找表的二值球形编码方案(Lookup-Free Binary Spherical Coding),突破传统标量量化与向量量化(VQ)的局限:标量量化虽简单但在极低比特下精度损失大;传统 VQ 虽精度更高但需要大型码本和查找表,推理效率差。BiSCo-LLM 将权重投影到球面上进行二值编码,在 1-2 bit 极低比特场景下同时保持较高精度和高效推理。

核心要点:

  • 提出无查找表的球形二值编码,克服 VQ 码本开销与标量量化精度双重局限
  • 在 1-2 bit 极低比特下实现有竞争力的模型精度
  • 编码结构适合高效矩阵运算,推理时无需大型码本查找
  • 为边端部署、存储受限场景下的 LLM 提供新的压缩思路

7. PyTorch 2.13 正式发布

来源:PyTorch
链接:https://pytorch.org/blog/pytorch-2-13-release-blog/
标签:PyTorch · FlexAttention · Apple Silicon · 编译器优化

PyTorch 2.13 正式发布,带来多项重要更新:FlexAttention 正式支持 Apple Silicon (MPS),加速速度提升高达数倍;torch.compile 进一步优化,对更多模型架构实现更好的编译覆盖;分布式训练和量化推理方面亦有多项改进。此版本标志着 PyTorch 在跨平台推理加速和灵活注意力机制上的持续投入。

核心要点:

  • FlexAttention 正式落地 Apple Silicon MPS,加速高达数倍
  • torch.compile 覆盖更广的模型架构,编译成功率提升
  • 分布式训练 API(DTensor、FSDP2)持续改进,稳定性增强
  • 量化和低精度推理支持扩展,对接更多硬件后端

📊 今日速览

# 标题摘要 来源 方向
1 DominoTree 条件树结构推测解码 arXiv:cs.CL 推理加速
2 MAESTRO MoE专家剪枝 arXiv:cs.CL 模型压缩
3 激活聚合提示压缩 arXiv:cs.CL 提示优化
4 SLORR 训练时低秩正则化 arXiv:cs.LG 模型压缩
5 无训练宽松推测解码调研 arXiv:cs.LG 推理加速
6 BiSCo-LLM 极低比特球形编码 arXiv:cs.LG 量化压缩
7 PyTorch 2.13 正式发布 PyTorch 框架更新

自动生成 · 2026-07-13 · jeffinchen daily tech reading list

评论