← Reading List
📰 技术速递

推理加速·量化·硬件加速器·MoE部署

Tech多源前沿

📰 2026-11-19 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 推理加速与投机解码、训练后量化、LLM 硬件加速器、KV-Cache 可靠性、MoE 低显存推理、训练时间预测 等方向。


1. MoE 扩散解码的隐性开销:采样器剖析与修复

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2611.21852 标签:扩散语言模型 · 推理开销 · 采样器优化 · dLLM · 解码加速

掩码扩散语言模型(dLLM)通过迭代去噪整块 token 画布来生成文本,导致每一次前向都需在整张「画布×词表」的 logits 张量上运行逐 token 的采样与停止判定流水线。本文对单用户解码场景下的这一开销进行了系统剖析,定位了采样器成为性能瓶颈的根因,并给出相应的修复方案,显著降低 dLLM 解码的端到端延迟。

核心要点:

  • dLLM 每次前向都需在整块画布上做逐 token 采样与停止判定,产生大量冗余计算
  • 论文通过细粒度 profiling 定位采样器是单用户解码阶段的主要延迟来源
  • 提出针对性修复,在保持生成质量的前提下降低 dLLM 解码开销

2. VisHead-Spec:面向多模态投机解码的头路由视觉注意力

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2611.21839 标签:投机解码 · 视觉语言模型 · 高并发推理 · 注意力路由 · 加速

投机解码能在保持目标模型输出不变的前提下加速视觉语言模型(VLM)推理,但在高并发服务场景下,随着 batch 增大系统越来越受计算约束,加速收益会明显衰减。本文提出 VisHead-Spec,通过头路由的视觉注意力机制缓解这一问题,使投机解码在高并发 VLM 服务中仍能维持可观的加速比。

核心要点:

  • 传统投机解码在 VLM 高并发、大 batch 下因计算受限而加速收益骤降
  • VisHead-Spec 引入头路由视觉注意力,针对性优化多模态 token 的草稿生成
  • 在保持目标模型输出一致性的同时,提升高并发场景下的推理吞吐

3. WM-Quant:面向 JEPA 式世界模型的滚动感知训练后量化

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2611.21882 标签:训练后量化 · 世界模型 · JEPA · PTQ · 边缘部署

本文提出 WM-Quant,据作者所知是首个专门面向 JEPA 式世界模型的训练后量化(PTQ)框架。尽管世界模型参数量通常不大,但动作规划算法往往需要大量滚动(rollout)推理,量化误差会在多步规划中累积放大。WM-Quant 通过滚动感知的校准策略,在大幅压缩模型的同时将规划质量的退化控制在可接受范围,助力世界模型在资源受限设备上的落地。

核心要点:

  • 首个针对 JEPA 式世界模型的 PTQ 框架,解决多步 rollout 的误差累积问题
  • 采用滚动感知校准,将量化误差对世界模型规划质量的影响最小化
  • 在保持规划性能的同时显著降低模型存储与计算开销,利于边缘部署

4. Chimera:面向 HBM 多 Die FPGA 的 LLM 解码加速器(计算-内存-布局协同设计)

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2611.21677 标签:LLM 解码 · FPGA · HBM · 内存带宽 · 硬件加速器

GPU 广泛用于 LLM 推理,但单请求解码是内存带宽受限的,导致算力闲置且功耗偏高。本文提出 Chimera,一种可配置的 LLM 解码加速器架构,面向配备 HBM 的多 die FPGA,通过可定制数据通路充分利用内存带宽,并采用计算-内存-布局(floorplan)协同设计在算力、内存与物理布局间取得平衡,为低功耗、高吞吐的单请求解码提供新路径。

核心要点:

  • 单请求 LLM 解码受内存带宽制约,GPU 算力闲置且功耗高
  • Chimera 利用 HBM 多 die FPGA 的可定制数据通路提升带宽利用率
  • 计算-内存-布局协同设计在能效与吞吐上优化 LLM 解码

5. 从 token 变更到任务失败:共享 KV-Cache 块中的比特翻转

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2611.22243 标签:KV-Cache · GPU 可靠性 · 前缀缓存 · 比特翻转 · 容错

在采用前缀缓存的 LLM 服务系统中,共享系统提示的每一个 KV 块在 GPU 显存中只保留一份物理副本,被所有命中该提示的请求共同读取。作者此前的测量工作表明:这样一个块中的单个比特翻转就可能改变 token;本文进一步追踪了从底层比特翻转到上层任务失败的传播链路,量化了共享 KV-Cache 在 GPU 静默数据错误下的系统性风险,为服务系统的容错设计提供依据。

核心要点:

  • 前缀缓存下共享 KV 块为单份物理副本,被大量请求并发读取
  • 单个比特翻转即可改变解码 token,并沿推理链传播至任务级失败
  • 揭示了共享 KV-Cache 在 GPU 静默错误下的系统性可靠性风险

6. 180B 参数、32GB 内存:用 Transformers 把 MoE 推理推到极限

来源:Hugging Face Blog 链接:https://huggingface.co/blog/moe-expert-streaming 标签:MoE · 专家卸载 · 低显存推理 · Transformers · 大模型部署

本文记录了如何在仅 32GB 内存(如一台 Mac)上运行参数量达 180B 的 MoE 模型。作者利用 Transformers 库的 experts_offload 机制,将 121GB 的专家权重按需卸载与流式加载,使超大 MoE 模型得以在消费级内存上完成推理,并探讨了与纯量化方案相比在精度与速度上的取舍,为本地部署超大 MoE 提供了可行范式。

核心要点:

  • 通过 experts_offload 将 121GB 专家权重按需卸载,在 32GB 内存上跑通 180B MoE
  • 相比纯量化,专家流式加载在精度与可用性上更具优势
  • 为消费级设备本地部署超大 MoE 模型提供了实践路径

7. 为什么你的微调任务比 FLOPs 预估的更慢

来源:Hugging Face Blog 链接:https://huggingface.co/blog/Dharma-AI/predicting-fine-tuning-time 标签:微调 · 训练时间预测 · GPU 集群 · 资源调度 · 训练效率

业界常用「仅计算量」的 FLOPs 估算来预估微调耗时,但在共享 GPU 集群上实际端到端时间往往偏差很大。本文基于 272 次真实微调任务的数据,构建了一个端到端微调时间预测器,分析其依赖的特征(数据加载、通信、调度等待等),并量化了预测误差的分布与失效场景,帮助用户在共享集群上更准确地规划训练资源。

核心要点:

  • 仅看 FLOPs 的耗时估算在共享 GPU 集群上严重偏离真实端到端时间
  • 基于 272 次任务数据构建预测器,纳入数据加载、通信与调度等待等因素
  • 明确给出预测器的适用边界与误差分布,辅助资源规划

📊 今日速览

# 标题摘要 来源 方向
1 MoE 扩散解码的隐性开销:采样器剖析与修复 arXiv cs.LG 推理加速
2 VisHead-Spec:面向多模态投机解码的头路由视觉注意力 arXiv cs.LG 多模态加速
3 WM-Quant:面向 JEPA 式世界模型的滚动感知训练后量化 arXiv cs.LG 量化压缩
4 Chimera:面向 HBM 多 Die FPGA 的 LLM 解码加速器(计算-内存-布局协同设计) arXiv cs.AR 硬件加速
5 从 token 变更到任务失败:共享 KV-Cache 块中的比特翻转 arXiv cs.AR 可靠性
6 180B 参数、32GB 内存:用 Transformers 把 MoE 推理推到极限 Hugging Face Blog MoE部署
7 为什么你的微调任务比 FLOPs 预估的更慢 Hugging Face Blog 训练效率

自动生成 · 2026-11-19 · jeffinchen daily tech reading list

评论