📰 2026-09-01 · 每日技术速递
今日精选 6 篇深度技术文章,覆盖 量化与显存、推理加速、硬件架构、扩散模型解码、量化安全、神经架构搜索。
1. DAMP:面向循环状态的衰减感知混合精度量化
来源:arXiv.cs.LG 链接:https://arxiv.org/abs/2608.27513 标签:循环状态量化 · 混合精度 · KV缓存替代 · 推理显存
Gated DeltaNet/Kimi Delta Attention 等模型用固定大小的循环状态替代大部分层的 KV 缓存,但这些状态通常以 FP32 存储,占用大量 GPU 显存且更新受显存带宽限制。本文首次研究 GDN/KDA 模型的循环状态后训练量化,发现均匀量化(INT8/FP8)在复杂推理任务上已出现精度下降,INT4/NVFP4 几乎归零;据此提出 DAMP,以衰减感知的混合精度方案缓解精度-显存权衡。
核心要点:
- 首次系统研究 GDN/KDA 循环状态的后训练量化
- 均匀 INT4/NVFP4 量化使复杂推理精度接近归零
- 提出衰减感知混合精度以兼顾显存占用与精度
2. 用向量索引加速 LLM 输出嵌入层推理
来源:arXiv.cs.CL 链接:https://arxiv.org/abs/2608.27460 标签:输出投影 · HNSW向量索引 · 带宽瓶颈 · 解码吞吐
大型输出嵌入矩阵在自回归解码阶段造成显著的显存带宽瓶颈,尤其对词表庞大的小模型。本文将输出投影 + top-k 选词重构为对词嵌入的最大内积搜索(MIPS),用 HNSW 向量索引替换稠密词表投影,仅检索少量高分词候选。在 Gemma 3、Llama 3.2、Qwen 3 的 CPU 推理上,输出投影显著加速,Gemma 3 270M 的端到端单批解码吞吐最高提升 82%,且生成质量在 AlpacaEval 等基准上基本保持。
核心要点:
- 将输出投影+选词重构为 MIPS 向量检索问题
- 用 HNSW 索引替代稠密词表投影,仅检索高分候选
- Gemma 3 270M 单批解码吞吐最高提升 82%
3. 面向大语言模型的 AI 硬件加速器:架构与内存墙
来源:arXiv.cs.AR 链接:https://arxiv.org/abs/2608.28048 标签:AI加速器 · 内存墙 · roofline分析 · 推理部署
本综述系统梳理面向 LLM 的 AI 硬件加速器版图,涵盖通用 GPU、TPU/Trainium/Groq/Cerebras 等 ASIC、FPGA、存内/近存计算以及神经形态与光子计算等新兴路线。作者以 transformer 计算结构和 roofline 分析为统一框架,指出 LLM 加速的决定性约束不是算力而是内存——自回归解码受带宽限制、KV 缓存规模可媲美模型权重、数据搬移主导能耗。
核心要点:
- 用 roofline 统一框架比较 GPU/ASIC/FPGA 等平台
- 指出“内存墙”是 LLM 加速的核心瓶颈(带宽与 KV 缓存)
- 覆盖云端与边缘、存内计算与光子计算等新兴方向
4. 扩散语言模型的轨迹级投机解码
来源:arXiv.cs.CL 链接:https://arxiv.org/abs/2608.27514 标签:扩散语言模型 · 投机解码 · 轨迹推测 · 并行解码
扩散语言模型(dLLM)通过迭代去噪实现并行生词,但现有解码策略在低置信度时退化成单 token 生成,严重限制吞吐。与自回归模型的左到右序列投机不同,dLLM 需要在去噪轨迹(多 token 更新序列)上做推测。本文提出轨迹级投机框架:用置信度分层的树搜索构造草稿轨迹,并通过带双向注意力掩码的块级并行验证;进一步引入块间推测,利用扩散模型双向结构做跨块前瞻。
核心要点:
- 首次提出面向 dLLM 的去噪轨迹级投机解码
- 置信度分层树搜索 + 块级并行验证
- 块间推测利用双向结构做跨块前瞻,提升吞吐
5. 量化触发的后门:跨量化器可迁移性与验证-部署鸿沟
来源:arXiv.cs.LG 链接:https://arxiv.org/abs/2608.27512 标签:后训练量化 · 后门攻击 · 量化行为等价类 · 边缘部署
后训练量化常被当作面向边缘部署的“语义中性”优化,但当全精度源模型通过验证、下游才做量化且不再重新评估时,会形成结构性的“验证-部署鸿沟”。由于量化是参数空间的多对一映射,源精度认证并不保证部署配置下的行为等价。本文形式化为量化行为等价类(QBEC)并证明 QBEC 成员资格不蕴含行为等价,据此提出三阶段对抗微调框架,在通过源精度认证、且在多种量化器下可迁移的模型中植入潜在恶意载荷。
核心要点:
- 揭示量化引入的“验证-部署”结构性安全鸿沟
- 提出 QBEC 证明量化成员资格 ≠ 行为等价
- 三阶段对抗微调实现跨量化器可迁移的后门
6. FeatureFormer:面向时延与能耗预测的节点级特征编码
来源:arXiv.cs.LG 链接:https://arxiv.org/abs/2608.27794 标签:性能预测 · 神经架构搜索 · 节点级编码 · 能耗数据集
随着神经网络在资源受限的边缘设备部署,准确预测时延与能耗对高效神经架构搜索至关重要。现有 GNN/Transformer 预测器大多忽略节点级计算代价,难以刻画性能关键操作。本文提出 FeatureFormer,在门控图注意力架构中显式编码 FLOPs、参数量与显存代理等节点级特征;并发布大规模能耗数据集 NNEQ,支持时延与能耗的统一评测,在两项指标上均达到 SOTA(含更具挑战的分布外场景)。
核心要点:
- FeatureFormer 显式编码节点级 FLOPs/参数/显存代理
- 提出 NNEQ 大规模能耗数据集,统一评测时延与能耗
- 在分布内与分布外场景均达 SOTA
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | DAMP:面向循环状态的衰减感知混合精度量化 | arXiv.cs.LG | 量化/显存 |
| 2 | 用向量索引加速 LLM 输出嵌入层推理 | arXiv.cs.CL | 推理加速 |
| 3 | 面向大语言模型的 AI 硬件加速器:架构与内存墙 | arXiv.cs.AR | 硬件架构 |
| 4 | 扩散语言模型的轨迹级投机解码 | arXiv.cs.CL | 并行解码 |
| 5 | 量化触发的后门:跨量化器可迁移性与验证-部署鸿沟 | arXiv.cs.LG | 量化安全 |
| 6 | FeatureFormer:面向时延与能耗预测的节点级特征编码 | arXiv.cs.LG | NAS/能耗 |
自动生成 · 2026-09-01 · jeffinchen daily tech reading list
评论