← Reading List
📰 技术速递

大模型量化、KV Cache 压缩与 CPU/硬件推理协同设计

Tech多源前沿

📰 2026-08-27 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 量化微调、KV Cache 压缩、INT8 硬件加速器与 CPU 推理带宽优化。


1. AQLoRA:零搜索的自适应量化 LoRA 微调

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.23816 标签:量化微调 · LoRA · 4-bit · 训练加速 · 显存优化

QLoRA 通过 4-bit 量化节省了显存,但每次前向都要在线反量化,导致训练反而比 fp16 LoRA 更慢。AQLoRA 提出一种自适应量化方案,只需对权重做一次 CPU 端扫描,无需搜索、无需校准数据,即可把部分训练时间“买回来”。它通过 NF4 量化敏感度对层排序,自动决定哪些层保持高精度、哪些层量化。

核心要点:

  • QLoRA 省显存却不省时间,在线反量化成为训练瓶颈
  • 单次 CPU 扫描按 NF4 敏感度排序层,零搜索、零校准
  • 在保持 LoRA 显存优势的同时显著缩短训练耗时

2. PuzzleKV:基于页级低秩分解的 KV Cache 压缩

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.23843 标签:KV Cache · 长上下文 · 低秩分解 · 推理优化 · 显存压缩

长上下文推理的主要瓶颈是 KV Cache 占用的显存,低秩压缩因能用低维表示刻画每个 token 而备受关注。PuzzleKV 提出页级(page-wise)低秩分解,把 KV Cache 按页切块分别做低秩近似,在压缩比与精度损失之间取得更好平衡。相比全局低秩方案,页级策略能更细腻地保留局部注意力结构。

核心要点:

  • KV Cache 是长上下文推理的显存瓶颈,低秩压缩是自然选择
  • 页级分解对 KV 分块独立近似,更贴合局部注意力结构
  • 在高压缩比下保持更低的精度损失

3. TFA:面向 Transformer 推理的可综合 INT8 宏指令芯片

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.23582 标签:硬件加速器 · INT8 · 推理引擎 · 可综合 · 宏指令

TFA 是一个可综合、可参数化的 INT8 存算一体(memory-to-memory)Transformer 推理引擎,用一条时分复用的数据通路同时处理 prompt 预填充与自回归生成。它将矩阵乘、softmax、RMSNorm、逐元素运算及 copy/gather 都实现为 8 个 512-bit 宏指令(macro-op)。该设计便于在不同规模下综合与部署,为低成本 Transformer 推理硬件提供参考实现。

核心要点:

  • 单条时分复用数据通路统一处理预填充与解码
  • 8 个 512-bit 宏指令覆盖矩阵乘/softmax/RMSNorm 等核心算子
  • 可综合、可参数化,便于按规模定制部署

4. 弹性 KV Cache:可回收的预留机制,以及分块预填充为何已缩小差距

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.23658 标签:KV Cache · LLM 服务 · 显存回收 · 分块预填充 · 推理引擎

LLM 服务引擎在启动时一次性预留最坏情况 prefill 所需的 KV Cache,解码阶段这块预留长期闲置却无法归还给 KV 池。本文提出一种可工作的回收机制,把闲置预留动态交还,并论证在现代引擎中,分块预填充(chunked prefill)本身已大幅缩小了弹性需求与静态预留之间的差距。结论对 serving 引擎的显存管理设计有直接的工程指导意义。

核心要点:

  • 启动时静态预留的 prefill 显存在解码期长期闲置
  • 提出可工作的回收机制,将闲置预留动态归还 KV 池
  • 分块预填充已天然缓解弹性缺口,指导引擎显存管理

5. 流水线原生 Transformer:模型架构与 CPU 推理协同设计的高效自回归解码

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.23841 标签:CPU 推理 · 带宽受限 · 架构协同设计 · 自回归解码 · 边缘部署

CPU 上单 token 自回归解码的瓶颈是内存带宽而非算力——现代 CPU 算力约 1 TFLOP/s,但主存带宽仅约 50 GB/s,每生成一个 token 都要把全部激活权重从内存流式读入一遍。本文主张最有效的应对是协同设计模型架构与推理引擎,使每 token 的权重搬运量最小,从而让解码在 CPU/边缘设备上更高效。

核心要点:

  • CPU 解码受内存带宽限制(~50GB/s)而非算力(~1TFLOP/s)
  • 每 token 需完整流式读取激活权重,带宽成为硬瓶颈
  • 通过架构-引擎协同设计最小化权重搬运,提升边缘部署效率

6. 量化感知修复:压缩到 4-bit 反而超越全精度原模型

来源:Hugging Face Blog 链接:https://huggingface.co/blog/MultiverseComputingCAI/quantization-aware-healing 标签:4-bit 量化 · 量化感知训练 · 模型压缩 · 精度恢复 · 后训练

这篇 Hugging Face 技术博客介绍“量化感知修复”(Quantization-Aware Healing)方法,通过对量化过程引入修复机制,使压缩到 4-bit 的模型在特定任务上反而优于其全精度原始模型。它说明量化不一定只是精度损失的过程,配合恰当的训练/修复策略,压缩模型也能获得“越压越强”的效果。对希望在显存受限场景部署高质量模型的工程师有实用参考价值。

核心要点:

  • 4-bit 压缩模型可在任务上超越全精度原始模型
  • 量化感知修复把“损失”转为“增益”
  • 为显存受限部署提供高质量压缩路径

7. 用 Sentence Transformers 训练与微调多向量(晚交互)嵌入模型

来源:Hugging Face Blog 链接:https://huggingface.co/blog/train-multi-vector-encoder 标签:嵌入模型 · 多向量 · 晚交互 · Sentence Transformers · 检索训练

该 Hugging Face 博客系统讲解如何用 Sentence Transformers 训练与微调多向量(multi-vector / late interaction)嵌入模型,即 ColBERT 式为每个 token 生成独立向量、检索时再做晚交互打分。文章覆盖数据准备、训练目标与微调流程,帮助从业者构建可解释、检索精度更高的稠密/迟交互混合检索系统。

核心要点:

  • 多向量(晚交互)为每个 token 生成独立向量,检索更精细
  • 给出 Sentence Transformers 下的训练/微调完整流程
  • 适合构建高精度、可解释的混合检索系统

📊 今日速览

# 标题摘要 来源 方向
1 AQLoRA 零搜索自适应量化 LoRA 微调 arXiv cs.LG 量化微调
2 PuzzleKV 页级低秩 KV Cache 压缩 arXiv cs.LG 长上下文推理
3 TFA 可综合 INT8 Transformer 推理芯片 arXiv cs.AR 硬件加速器
4 弹性 KV Cache 显存回收机制 arXiv cs.AR LLM 服务
5 流水线原生 Transformer CPU 推理协同设计 arXiv cs.AR CPU 推理
6 量化感知修复 4-bit 超越全精度 HF Blog 模型压缩
7 多向量嵌入模型训练与微调 HF Blog 检索训练

自动生成 · 2026-08-27 · jeffinchen daily tech reading list

评论