📰 2026-08-06 · 每日技术速递
今日精选 6 篇深度技术文章,覆盖 KV-Cache/低位量化、微缩放格式、存内计算、SSM 加速与扩散语言模型推理。
1. OptR:面向 INT2 KV-Cache 量化的输出感知旋转方法
来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.02691 标签:KV-Cache量化 · INT2 · 注意力机制 · 长上下文推理
KV-Cache 在长上下文 LLM 推理中已成为显存与带宽的主要瓶颈,超低位量化因此变得至关重要。现有基于旋转的方法在完整注意力读出之前优化缓存统计或代理误差,但模型最终受注意力及输出投影 W_O 传播的误差影响。OptR 提出输出感知旋转,最小化经过 W_O 后的注意力输出误差,将误差分解为键诱导与值诱导两项,并通过完整 INT2 量化与注意力路径学习每头正交校正,同时用注意力等价的关键重参数化消除大的通道偏移而不改变 softmax 分布。
核心要点:
- 针对 INT2 超低位 KV-Cache,最小化经过输出投影 W_O 后的注意力输出误差,而非优化代理误差
- 将误差分解为键诱导与值诱导两项,学习每头正交校正,并用等价重参数化消除通道偏移
- 在三个模型、五个推理与代码基准上持续优于 QuaRot 与 OSCAR,长上下文检索增强且兼容 paged KV-Cache
2. NANQ:面向模拟存内计算的噪声感知混合精度非均匀量化
来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.02700 标签:存内计算 · 混合精度 · 非均匀量化 · 边缘推理
模拟存内计算(CIM)可实现高能效神经网络推理,但器件差异与读取噪声会严重劣化低位量化模型。现有 CIM 量化方法主要最小化理想量化误差,忽略了硬件噪声基底,导致精度分配低效。NANQ 建立基于 eFlash CIM 实测响应的幅值相关权重噪声模型,将噪声轮廓转化为自适应量化密度,在噪声低区域分配更细分辨率,在噪声主导区域避免无效精度,并按各层在硬件噪声下的精度饱和点分配逐层位宽。
核心要点:
- 建模 eFlash CIM 阵列实测的幅值相关权重噪声,转化为自适应量化密度
- 低噪声区域分配细分辨率、噪声主导区域避免无效精度,逐层按饱和点分配位宽
- 片上实测:2-bit 权重量化下视觉精度提升 8.05 点、语言模型 PPL 平均降 54.7%,仅需 3.2-3.8 等效位
3. AdaMX:异构感知的微缩放格式与加速器,消除大部分 MXFP4 精度损失
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.03867 标签:微缩放MX · 低比特推理 · 硬件加速器 · 量化格式
微缩放(MX)已是低位 LLM 推理的标准,但其 4-bit 形态 MXFP4 仍损失大量精度,因为现有 MX 格式在各 block 间固定元素格式或精度恢复方案,只能捕捉有限的量化异构性。AdaMX 引入异构感知格式与加速器,在不增加等效位宽(EBW)的前提下为每个 block 选择精度恢复方案、为每个操作数选择表示,一个设计覆盖两种 block 尺寸,并提供更高精度与更低 EBW 两个工作点。
核心要点:
- 在 block 间与操作数(权重/激活)两个层级捕捉量化异构性,不增加等效位宽
- 22nm FD-SOI 加速器原型仅增约 1% 系统能耗;低 EBW 点同时降低显存与能耗且精度更高
- 3B-70B LLM 上消除 83% MXFP4 commonsense 损失、82% MMLU 损失,并泛化至多模态模型
4. LowRank-SSM:面向 FPGA 的秩约简 Mamba 软硬件协同加速
来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.02954 标签:状态空间模型 · Mamba · FPGA · 软硬件协同
Mamba 等状态空间模型(SSM)可实现线性时间自回归推理,适合时延敏感与资源受限部署,但其巨大的输入/输出投影层带来平方级权重显存与片外带宽开销,在序列长度 1024 以上占超过 60% 的单 token 运行时间。LowRank-SSM 提出软硬件协同框架:软件侧用训练后截断 SVD 分解投影权重,并以贪婪分段秩分配算法搜索满足精度约束的最小存储秩向量;硬件侧将其映射到全流水 FPGA 加速器,含双路投影、融合选择性扫描单元与五路独立 AXI 主通道。
核心要点:
- 首次将投影秩作为显式硬件设计变量,用截断 SVD + 贪婪分段秩分配探索精度-吞吐权衡
- FPGA 全流水加速器含双路投影、融合扫描单元、五路 AXI 主通道,带宽无争用
- Xilinx Versal 上混合秩 INT8 设计达 7.89 tokens/s,吞吐提升 2.19×、能效提升 2.03×
5. ARCHead:基于激活度量的残差校正压缩 LLM 输出头
来源:arXiv cs.CL 链接:https://arxiv.org/abs/2608.02703 标签:权重量化 · 输出头压缩 · INT4 · LM-Head
仅权重量化大幅降低 LLM transformer 块存储,但后端常将最终语言建模头(LM-head)保留为 BF16/FP16,朴素量化会强烈扰动词表 logit 分布。ARCHead 提出打包式 LM-head 压缩器,组合量化低秩核心、分组 INT4 残差,以及用激活派生度量拟合的低秩校正,不存储任何稠密 BF16 头,将持久 LM-head 存储降低 3.7-3.9×。
核心要点:
- 量化低秩核心 + 分组 INT4 残差 + 激活派生度量低秩校正,压缩 LM-head 存储 3.7-3.9×
- Qwen3-8B-Base 上仅用 25.6% BF16 头存储即达 1.007 相对困惑度,显著优于同存储朴素 INT4
- 作为块量化器的补充,压缩其遗漏的大输出投影,吞吐变化小于 2%
6. 投机校正:扩散语言模型的先草拟后精修解码范式
来源:arXiv cs.CL 链接:https://arxiv.org/abs/2608.02625 标签:扩散语言模型 · 投机解码 · 推理加速 · 双向精修
扩散语言模型(DLM)可双向修改 token,但标准解码常将其适配为从左到右逐块生成。本文研究一种简单即插即用推理模式:先生成完整草稿,再用双向扩散精修整个回复。基于 LLaDA2.1,评估两种配置——Flash-Flash 同一模型兼任草拟与精修,以及受投机解码启发的 Mini-Flash:Mini 草拟、Flash 作为可编辑初始化进行修订。
核心要点:
- 提出 draft-then-refine 即插即用范式:先完整草拟,再双向扩散全局精修
- Flash-Flash 在 GSM8K-384 上从 0.848 升至 0.899,且比块自回归基线快 1.20×
- Mini-Flash 提供质量-时延权衡,MATH-384 达 0.294(Flash 为 0.300)但快 2.17×,属免训练加速路线
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | OptR:面向 INT2 KV-Cache 量化的输出感知旋转方法 | arXiv cs.LG | KV-Cache量化 |
| 2 | NANQ:面向模拟存内计算的噪声感知混合精度非均匀量化 | arXiv cs.LG | 存内计算 |
| 3 | AdaMX:异构感知的微缩放格式与加速器,消除大部分 MXFP4 精度损失 | arXiv cs.AR | 微缩放MX |
| 4 | LowRank-SSM:面向 FPGA 的秩约简 Mamba 软硬件协同加速 | arXiv cs.AR | 状态空间模型 |
| 5 | ARCHead:基于激活度量的残差校正压缩 LLM 输出头 | arXiv cs.CL | 权重量化 |
| 6 | 投机校正:扩散语言模型的先草拟后精修解码范式 | arXiv cs.CL | 扩散语言模型 |
自动生成 · 2026-08-06 · jeffinchen daily tech reading list
评论