📰 2026-07-13 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 推测解码加速、MoE专家剪枝、提示压缩、低秩正则化、极低比特量化、PyTorch 2.13。
1. DominoTree:用条件树结构草稿加速推测解码
来源:arXiv:cs.CL
链接:http://arxiv.org/abs/2607.08642v1
标签:推测解码 · 树结构草稿 · LLM推理加速 · 块扩散
推测解码通过快速草稿模型生成多个候选 token,再由目标模型并行验证,从而显著加速 LLM 推理。DominoTree 在此基础上提出条件树结构草稿(Conditional Tree-Structured Drafting):不同于 DFlash 等仅建模逐位置边缘分布的块扩散方法,DominoTree 引入”多米诺”顺序条件依赖,同时保留 DDTree 等最优先树扩展方案的优势。该方法在不增加验证开销的前提下显著提升草稿接受率,进而提升端到端吞吐量。
核心要点:
- 条件树结构草稿融合块扩散与最优先树扩展两种范式,避免各自短板
- 引入 Domino 顺序条件依赖,建模 token 间相关性,提升接受率
- 适用于现有 LLM 推理框架,无需修改目标验证模型
- 相比 DFlash 和 DDTree,实现更高的树接受率与推理加速
2. MAESTRO:系统性修剪 MoE 语言模型中的”坏专家”
来源:arXiv:cs.CL
链接:http://arxiv.org/abs/2607.08601v1
标签:MoE · 结构化剪枝 · 推理效率 · 专家稀疏化
稀疏激活的 MoE 语言模型虽然每个 token 只激活少量专家,但全部专家参数始终驻留在显存中,造成严重的部署瓶颈。MAESTRO 提出一套结构化剪枝框架,系统识别并移除”坏专家”——那些对模型输出贡献小但占用大量内存的专家层。与现有方法相比,MAESTRO 能在保持模型性能的同时大幅压缩 MoE 模型的实际内存占用,使大规模 MoE 部署更具可行性。
核心要点:
- 针对 MoE 模型”全专家常驻内存”瓶颈,提出结构化专家剪枝方案
- 设计专家重要性评估指标,精准定位贡献度低的”坏专家”
- 剪枝后模型显存显著降低,同时保持下游任务性能
- 为大规模 MoE 模型(如 Mixtral、DeepSeek-MoE)的边端部署提供实用路径
3. 激活聚合:将提示压缩为单个激活向量
来源:arXiv:cs.CL
链接:http://arxiv.org/abs/2607.08399v1
标签:提示压缩 · 激活向量 · KV缓存 · LLM效率
当 LLM 处理超长提示时,计算和内存开销随 token 数线性增长。本文探索了一条激进的压缩路径:能否将一段指令提示中所含的任务相关信息压缩为单一激活向量,并直接注入模型中间层,替代原始 token 序列?作者通过激活聚合(Activation Aggregation)方法,在多个指令跟随任务上验证了这一思路,展示了用极少量激活替代完整提示的可行性,为 KV 缓存复用和长上下文压缩提供了新视角。
核心要点:
- 提出激活聚合方法,将指令提示压缩为单个激活向量后重注入中间层
- 验证任务相关信息可被压缩表示,无需保留完整 token 序列
- 对 KV 缓存压缩、系统提示缓存等实际优化场景具有直接启示
- 在多个指令跟随 benchmark 上验证有效性,揭示 LLM 内部信息聚合机制
4. SLORR:训练时简单高效的低秩正则化
来源:arXiv:cs.LG
链接:http://arxiv.org/abs/2607.08754v1
标签:低秩正则化 · 模型压缩 · 训练优化 · SVD
低秩分解是压缩神经网络的主流方法,但现代大模型往往不天然具备良好的低秩结构,强行分解会损失大量精度。SLORR(Simple and Efficient In-Training Low-Rank Regularization)在训练阶段直接引入低秩正则化约束,使权重矩阵在训练过程中自然趋向低秩结构,从而在不依赖大规模 SVD 计算的前提下显著提升模型的事后可压缩性。方法实现简洁,计算开销低,可无缝集成到标准训练流程。
核心要点:
- 训练时施加低秩正则化,引导权重矩阵天然趋向低秩结构
- 避免事后压缩时大规模 SVD 带来的计算开销与精度损失
- 实现简单,可集成至 PyTorch / HuggingFace 标准训练流程
- 适用于 LLM、ViT 等大规模模型的高效压缩预处理
5. 无需训练的宽松推测解码实践调研
来源:arXiv:cs.LG
链接:http://arxiv.org/abs/2607.08690v1
标签:推测解码 · 无损加速 · 草稿模型 · 采样分布
标准推测解码保证无损性:拒绝-重采样步骤完全保留目标模型的采样分布。然而这一约束在某些场景下过于严格,”宽松推测解码”(Relaxed Speculative Decoding)允许以受控方式放宽精确分布匹配,从而换取更高的接受率和吞吐量。本文系统性调研了无需额外训练的宽松推测解码变体,比较不同放宽策略在质量-速度权衡上的表现,为生产部署提供实用指导。
核心要点:
- 系统梳理宽松推测解码方法,对比各策略在接受率和输出质量上的权衡
- 无训练要求,适合直接叠加在现有推测解码框架上使用
- 揭示在可接受质量损失下可获得的额外加速空间
- 为生产环境中推测解码的参数选择提供实验基准
6. BiSCo-LLM:极低比特球形编码压缩大语言模型
来源:arXiv:cs.LG
链接:http://arxiv.org/abs/2607.08643v1
标签:模型量化 · 极低比特 · 球形编码 · 权重压缩
随着 LLM 规模不断扩大,显存容量、带宽和存储成为核心瓶颈。BiSCo-LLM 提出无查找表的二值球形编码方案(Lookup-Free Binary Spherical Coding),突破传统标量量化与向量量化(VQ)的局限:标量量化虽简单但在极低比特下精度损失大;传统 VQ 虽精度更高但需要大型码本和查找表,推理效率差。BiSCo-LLM 将权重投影到球面上进行二值编码,在 1-2 bit 极低比特场景下同时保持较高精度和高效推理。
核心要点:
- 提出无查找表的球形二值编码,克服 VQ 码本开销与标量量化精度双重局限
- 在 1-2 bit 极低比特下实现有竞争力的模型精度
- 编码结构适合高效矩阵运算,推理时无需大型码本查找
- 为边端部署、存储受限场景下的 LLM 提供新的压缩思路
7. PyTorch 2.13 正式发布
来源:PyTorch
链接:https://pytorch.org/blog/pytorch-2-13-release-blog/
标签:PyTorch · FlexAttention · Apple Silicon · 编译器优化
PyTorch 2.13 正式发布,带来多项重要更新:FlexAttention 正式支持 Apple Silicon (MPS),加速速度提升高达数倍;torch.compile 进一步优化,对更多模型架构实现更好的编译覆盖;分布式训练和量化推理方面亦有多项改进。此版本标志着 PyTorch 在跨平台推理加速和灵活注意力机制上的持续投入。
核心要点:
- FlexAttention 正式落地 Apple Silicon MPS,加速高达数倍
- torch.compile 覆盖更广的模型架构,编译成功率提升
- 分布式训练 API(DTensor、FSDP2)持续改进,稳定性增强
- 量化和低精度推理支持扩展,对接更多硬件后端
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | DominoTree 条件树结构推测解码 | arXiv:cs.CL | 推理加速 |
| 2 | MAESTRO MoE专家剪枝 | arXiv:cs.CL | 模型压缩 |
| 3 | 激活聚合提示压缩 | arXiv:cs.CL | 提示优化 |
| 4 | SLORR 训练时低秩正则化 | arXiv:cs.LG | 模型压缩 |
| 5 | 无训练宽松推测解码调研 | arXiv:cs.LG | 推理加速 |
| 6 | BiSCo-LLM 极低比特球形编码 | arXiv:cs.LG | 量化压缩 |
| 7 | PyTorch 2.13 正式发布 | PyTorch | 框架更新 |
自动生成 · 2026-07-13 · jeffinchen daily tech reading list
评论