← Reading List
📰 技术速递

推理加速 · 量化安全 · 硬件架构 · 扩散解码

Tech多源前沿

📰 2026-09-01 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 量化与显存、推理加速、硬件架构、扩散模型解码、量化安全、神经架构搜索。


1. DAMP:面向循环状态的衰减感知混合精度量化

来源:arXiv.cs.LG 链接:https://arxiv.org/abs/2608.27513 标签:循环状态量化 · 混合精度 · KV缓存替代 · 推理显存

Gated DeltaNet/Kimi Delta Attention 等模型用固定大小的循环状态替代大部分层的 KV 缓存,但这些状态通常以 FP32 存储,占用大量 GPU 显存且更新受显存带宽限制。本文首次研究 GDN/KDA 模型的循环状态后训练量化,发现均匀量化(INT8/FP8)在复杂推理任务上已出现精度下降,INT4/NVFP4 几乎归零;据此提出 DAMP,以衰减感知的混合精度方案缓解精度-显存权衡。

核心要点:

  • 首次系统研究 GDN/KDA 循环状态的后训练量化
  • 均匀 INT4/NVFP4 量化使复杂推理精度接近归零
  • 提出衰减感知混合精度以兼顾显存占用与精度

2. 用向量索引加速 LLM 输出嵌入层推理

来源:arXiv.cs.CL 链接:https://arxiv.org/abs/2608.27460 标签:输出投影 · HNSW向量索引 · 带宽瓶颈 · 解码吞吐

大型输出嵌入矩阵在自回归解码阶段造成显著的显存带宽瓶颈,尤其对词表庞大的小模型。本文将输出投影 + top-k 选词重构为对词嵌入的最大内积搜索(MIPS),用 HNSW 向量索引替换稠密词表投影,仅检索少量高分词候选。在 Gemma 3、Llama 3.2、Qwen 3 的 CPU 推理上,输出投影显著加速,Gemma 3 270M 的端到端单批解码吞吐最高提升 82%,且生成质量在 AlpacaEval 等基准上基本保持。

核心要点:

  • 将输出投影+选词重构为 MIPS 向量检索问题
  • 用 HNSW 索引替代稠密词表投影,仅检索高分候选
  • Gemma 3 270M 单批解码吞吐最高提升 82%

3. 面向大语言模型的 AI 硬件加速器:架构与内存墙

来源:arXiv.cs.AR 链接:https://arxiv.org/abs/2608.28048 标签:AI加速器 · 内存墙 · roofline分析 · 推理部署

本综述系统梳理面向 LLM 的 AI 硬件加速器版图,涵盖通用 GPU、TPU/Trainium/Groq/Cerebras 等 ASIC、FPGA、存内/近存计算以及神经形态与光子计算等新兴路线。作者以 transformer 计算结构和 roofline 分析为统一框架,指出 LLM 加速的决定性约束不是算力而是内存——自回归解码受带宽限制、KV 缓存规模可媲美模型权重、数据搬移主导能耗。

核心要点:

  • 用 roofline 统一框架比较 GPU/ASIC/FPGA 等平台
  • 指出“内存墙”是 LLM 加速的核心瓶颈(带宽与 KV 缓存)
  • 覆盖云端与边缘、存内计算与光子计算等新兴方向

4. 扩散语言模型的轨迹级投机解码

来源:arXiv.cs.CL 链接:https://arxiv.org/abs/2608.27514 标签:扩散语言模型 · 投机解码 · 轨迹推测 · 并行解码

扩散语言模型(dLLM)通过迭代去噪实现并行生词,但现有解码策略在低置信度时退化成单 token 生成,严重限制吞吐。与自回归模型的左到右序列投机不同,dLLM 需要在去噪轨迹(多 token 更新序列)上做推测。本文提出轨迹级投机框架:用置信度分层的树搜索构造草稿轨迹,并通过带双向注意力掩码的块级并行验证;进一步引入块间推测,利用扩散模型双向结构做跨块前瞻。

核心要点:

  • 首次提出面向 dLLM 的去噪轨迹级投机解码
  • 置信度分层树搜索 + 块级并行验证
  • 块间推测利用双向结构做跨块前瞻,提升吞吐

5. 量化触发的后门:跨量化器可迁移性与验证-部署鸿沟

来源:arXiv.cs.LG 链接:https://arxiv.org/abs/2608.27512 标签:后训练量化 · 后门攻击 · 量化行为等价类 · 边缘部署

后训练量化常被当作面向边缘部署的“语义中性”优化,但当全精度源模型通过验证、下游才做量化且不再重新评估时,会形成结构性的“验证-部署鸿沟”。由于量化是参数空间的多对一映射,源精度认证并不保证部署配置下的行为等价。本文形式化为量化行为等价类(QBEC)并证明 QBEC 成员资格不蕴含行为等价,据此提出三阶段对抗微调框架,在通过源精度认证、且在多种量化器下可迁移的模型中植入潜在恶意载荷。

核心要点:

  • 揭示量化引入的“验证-部署”结构性安全鸿沟
  • 提出 QBEC 证明量化成员资格 ≠ 行为等价
  • 三阶段对抗微调实现跨量化器可迁移的后门

6. FeatureFormer:面向时延与能耗预测的节点级特征编码

来源:arXiv.cs.LG 链接:https://arxiv.org/abs/2608.27794 标签:性能预测 · 神经架构搜索 · 节点级编码 · 能耗数据集

随着神经网络在资源受限的边缘设备部署,准确预测时延与能耗对高效神经架构搜索至关重要。现有 GNN/Transformer 预测器大多忽略节点级计算代价,难以刻画性能关键操作。本文提出 FeatureFormer,在门控图注意力架构中显式编码 FLOPs、参数量与显存代理等节点级特征;并发布大规模能耗数据集 NNEQ,支持时延与能耗的统一评测,在两项指标上均达到 SOTA(含更具挑战的分布外场景)。

核心要点:

  • FeatureFormer 显式编码节点级 FLOPs/参数/显存代理
  • 提出 NNEQ 大规模能耗数据集,统一评测时延与能耗
  • 在分布内与分布外场景均达 SOTA

📊 今日速览

# 标题摘要 来源 方向
1 DAMP:面向循环状态的衰减感知混合精度量化 arXiv.cs.LG 量化/显存
2 用向量索引加速 LLM 输出嵌入层推理 arXiv.cs.CL 推理加速
3 面向大语言模型的 AI 硬件加速器:架构与内存墙 arXiv.cs.AR 硬件架构
4 扩散语言模型的轨迹级投机解码 arXiv.cs.CL 并行解码
5 量化触发的后门:跨量化器可迁移性与验证-部署鸿沟 arXiv.cs.LG 量化安全
6 FeatureFormer:面向时延与能耗预测的节点级特征编码 arXiv.cs.LG NAS/能耗

自动生成 · 2026-09-01 · jeffinchen daily tech reading list

评论