📰 2026-05-12 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 KV Cache 量化与压缩、Attention 架构替代、联邦 LoRA 分布式训练、硬件加速推理引擎、Flow Matching 推理优化。
1. RateQuant:基于率失真理论的最优混合精度 KV Cache 量化
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.06675
标签:KV Cache · 混合精度量化 · 率失真理论 · LLM推理 · 内存优化
大语言模型推理中,KV Cache 随序列长度线性增长,成为主要内存瓶颈。RateQuant 将 KV Cache 量化问题形式化为一个率失真优化问题,通过理论最优分配实现各层、各头的混合精度位宽分配,相较现有启发式方法在相同内存预算下取得更低失真。核心创新在于利用信息论框架建立精度与误差之间的可分析关系,指导精度分配决策。
核心要点:
- 将 KV Cache 量化转化为率失真最优化问题,建立理论上界
- 逐层、逐头自动分配不同精度位宽(如 2/4/8-bit 混合),避免人工调参
- 在相同内存预算下,比均匀量化和已有混合精度方案生成质量更高
- 提供了精度-内存的 Pareto 最优权衡曲线,便于实际部署调优
2. LKV:端到端学习 LLM KV Cache 逐头预算分配与 Token 淘汰策略
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.06676
标签:KV Cache · Token淘汰 · 长上下文推理 · 端到端学习 · LLM加速
长上下文 LLM 推理受限于 KV Cache 内存的线性增长,现有方法依赖启发式规则分配各注意力头的缓存预算和选择保留哪些 Token。LKV 提出端到端可学习的方法,同时优化头级别预算分配与 Token 选择策略,消除人工设计的归纳偏置,在多种长上下文基准上显著优于静态策略。
核心要点:
- 端到端可学习的 KV Cache 压缩,同步优化预算分配和 Token 淘汰两个维度
- 打破现有方法依赖统计先验(如注意力得分阈值)的限制
- 头级别动态预算让模型自主发现哪些注意力头需要更多缓存
- 在长上下文推理任务(如 SCROLLS、LongBench)上取得 state-of-the-art
3. Toeplitz MLP Mixer:低复杂度、信息密集的序列建模替代 Attention
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.06683
标签:Attention替代 · Toeplitz矩阵 · MLP Mixer · 线性复杂度 · 序列建模
Transformer 注意力机制的二次复杂度是大模型扩展的核心瓶颈。Toeplitz MLP Mixer(TMM)用三角 Toeplitz 矩阵替换注意力,将序列混合复杂度降至近线性,同时通过结构性约束保留丰富的位置信息。TMM 在语言建模困惑度和下游任务上与同等规模 Transformer 持平甚至更优,且推理速度显著提升。
核心要点:
- Toeplitz 矩阵结构实现 O(n log n) 序列混合,替代 O(n²) 的 Self-Attention
- 三角结构天然满足自回归因果掩码,无需额外 mask 操作
- MLP Mixer 风格的简洁架构,易于与现有 Transformer 变体组合
- 在困惑度和多项 NLP 基准上与标准 Transformer 持平,推理延迟更低
4. 超越因子聚合:规范感知的低秩服务器表示用于联邦 LoRA 微调
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.06733
标签:联邦学习 · LoRA · 分布式训练 · 参数高效微调 · 规范对齐
联邦 LoRA 微调通过在去中心化数据上聚合 LoRA 参数实现大模型协同训练,但直接平均 LoRA 因子存在规范不一致问题:相同的参数更新可以有无数种等价 LoRA 分解,导致聚合误差。本文提出规范感知(Gauge-Aware)的服务器端低秩表示方法,通过固定规范约束消除表示冗余,实现更精确的联邦聚合。
核心要点:
- 识别联邦 LoRA 中存在的规范不变性问题:ΔW = A·B 的分解不唯一导致聚合误差
- 提出规范固定策略,将客户端上传的 LoRA 因子统一到共同规范空间再聚合
- 服务器端维护低秩全局表示,避免全参数通信开销
- 在多个 NLP 联邦微调基准上,收敛速度和最终精度均优于 FedAvg-LoRA
5. CARMEN:CORDIC 加速的资源高效多精度深度学习推理引擎
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.06878
标签:CORDIC · 多精度推理 · 硬件加速 · 深度学习推理 · 资源高效
CARMEN 是一个运行时自适应的 CORDIC 加速多精度向量推理引擎,专为资源受限的深度学习推理设计。核心洞察是 CORDIC 迭代深度直接控制计算精度,通过动态调整迭代次数实现运行时精度切换,无需为不同精度配置单独硬件路径,大幅降低面积开销。
核心要点:
- 利用 CORDIC 迭代深度与精度的直接关联,实现运行时动态精度切换
- 单一硬件路径支持多精度(INT4/INT8/FP16/FP32),消除传统多路精度的面积冗余
- 与同等精度的专用硬件相比,面积节省超过 40%
- 在嵌入式 FPGA 平台上验证,适用于边缘 AI 推理场景
6. TransDot:面向 FPGA AI 引擎的跨精度点积累加重构浮点单元
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.07245
标签:FPGA · 低精度计算 · FP16 · 跨精度 · AI加速器
现代 FPGA(如 AMD Versal)内置 AI 引擎利用低精度 packed-SIMD 乘积累加实现高吞吐,但跨精度 FMA(如 FP16×FP16→FP32)面临面积与性能双重压力。TransDot 提出面积高效的可重构浮点单元,支持跨精度点积累加,通过硬件复用策略在 FPGA AI 引擎上实现吞吐与精度的灵活权衡。
核心要点:
- 针对 FPGA AI 引擎设计跨精度 FMA 单元,统一支持 FP16/BF16/FP32 混合精度
- 可重构架构通过时分复用减少专用硬件面积,面积利用率提升显著
- 点积累加流水线优化,避免跨精度转换引入的额外延迟
- 在 AMD Versal AI 引擎上完成实现验证,为 AI 推理提供更灵活的精度控制
7. 流场应变与涡旋对流匹配数值积分误差的影响分析
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.06680
标签:Flow Matching · 扩散模型 · 推理加速 · NFE优化 · 生成模型
Flow Matching 通过积分学习到的速度场生成数据,积分步数(NFE)直接决定推理成本。本文分析速度场的哪些性质主导积分误差,通过将速度场分解为应变(strain)和涡旋(vorticity)两个分量,建立了误差与场特性的理论联系,为减少 NFE 提供了可解释的设计指导。
核心要点:
- 首次将流速场分解为应变和涡旋分量,量化各分量对数值积分误差的贡献
- 高涡旋速度场导致轨迹弯曲,需要更多积分步数,是 NFE 增加的主要原因
- 应变主导的流场更接近直线轨迹,可以用更少步数精确积分
- 为 Flow Matching 模型训练提供指导:鼓励低涡旋流场可减少推理成本
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | RateQuant:基于率失真理论的最优混合… | arXiv cs.LG | KV Cache 量化 |
| 2 | LKV:端到端学习 LLM KV Cache… | arXiv cs.LG | KV Cache 压缩 |
| 3 | Toeplitz MLP Mixer:低复杂… | arXiv cs.LG | 模型架构 |
| 4 | 超越因子聚合:规范感知的低秩服务器表示用于联… | arXiv cs.LG | 分布式训练 |
| 5 | CARMEN:CORDIC 加速的资源高效多… | arXiv cs.AR | 硬件加速器 |
| 6 | TransDot:面向 FPGA AI 引擎… | arXiv cs.AR | 硬件加速器 |
| 7 | 流场应变与涡旋对流匹配数值积分误差的影响分析 | arXiv cs.LG | 生成模型推理 |
自动生成 · 2026-05-12 · jeffinchen daily tech reading list
评论