📰 2026-09-02 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 LLM 推理加速(KV Cache 量化、长上下文、投机解码)、模型压缩(MoE 混合精度)、系统编译(存内计算 PIM)、分布式训练(多 GPU ND 并行)与预训练缩放定律。
1. SemKV:基于「质量悬崖」语义引导的混合精度 KV Cache 量化
来源:arXiv 链接:https://arxiv.org/abs/2608.28911 标签:KV Cache 量化 · 长上下文 · 混合精度 · 推理显存 · LLM 推理
长上下文 LLM 推理中,KV Cache 随上下文长度线性增长,是显存的主要瓶颈。本文指出在分数比特网格上做均匀 KV 量化并不会平滑退化,存在明显的「质量悬崖」现象,并据此提出 SemKV——以质量悬崖为引导、对 KV Cache 进行语义感知的混合精度量化方法。
核心要点:
- 揭示均匀 KV 量化在分数比特下存在非平滑的「质量悬崖」退化现象
- 提出语义引导的混合精度比特分配,对不同 token 与层分配最优比特数
- 在长上下文场景下显著降低显存占用,同时保持推理质量基本不降
2. CateKV:面向长上下文 LLM 推理加速的顺序一致性 KV 管理
来源:arXiv 链接:https://arxiv.org/abs/2608.30295 标签:长上下文 · 推理加速 · KV Cache · 注意力头 · 顺序一致性
处理长上下文时 LLM 面临着巨大的显存占用与推理延迟挑战。论文发现部分注意力头在长序列上呈现可预测的「顺序一致性」模式,据此提出 CateKV,以类别化方式更高效地管理 KV 缓存,从而加速长上下文推理。
核心要点:
- 发现部分注意力头在长序列上呈现可预测的顺序一致性特性
- 基于该特性设计 KV 缓存的类别化(categorical)管理策略
- 在长上下文推理中实现更低延迟与更可控的显存开销
3. Q-Strata:面向 MoE 混合精度量化的分层比特分配
来源:arXiv 链接:https://arxiv.org/abs/2608.30564 标签:MoE · 混合精度量化 · 比特分配 · 模型压缩 · 推理优化
混合精度量化(MPQ)通过为不同线性层分配比特,在固定预算下最小化质量损失;但 MoE 在每个专家、每块都包含大量线性层,使分配组合空间剧烈膨胀。Q-Strata 提出层次化比特分配框架,系统性地求解 MoE 的量化难题。
核心要点:
- 指出 MoE 每层多专家结构导致混合精度分配组合爆炸
- 提出层次化(hierarchical)比特分配框架,逐层/逐专家联合优化
- 在限定比特预算下显著降低 MoE 量化的质量损失
4. Accelerate ND-Parallel:高效多 GPU 训练实践指南
来源:Hugging Face 链接:https://huggingface.co/blog/accelerate-nd-parallel 标签:多 GPU 训练 · 分布式 · 并行策略 · Hugging Face · Accelerate
本文是 Hugging Face Accelerate 关于 N 维并行(ND-Parallel)多 GPU 训练的实用指南,系统讲解数据并行、张量并行、流水线并行与专家并行的组合方式,帮助在有限算力下高效训练大语言模型。
核心要点:
- 系统梳理数据/张量/流水线/专家并行的组合(N 维并行)思路
- 结合 Accelerate 给出可落地的多 GPU 训练配置方案
- 面向大模型训练提供显存与吞吐之间的权衡实践
5. 基于熵感知 Token 拒绝的投机解码改进
来源:arXiv 链接:https://arxiv.org/abs/2512.23765 标签:投机解码 · 推理加速 · Token 拒绝 · 熵感知 · LLM 推理
投机解码(SD)使用轻量草稿模型提议 token、由强目标模型验证以加速推理,但标准 SD 主要优化速度,生成质量受限于目标模型上限。本文提出熵感知的 token 拒绝机制,在保持加速比的同时更好地维护生成质量。
核心要点:
- 指出标准投机解码只优化速度、质量受目标模型上限约束
- 引入熵感知的 token 拒绝策略,自适应保留高价值 token
- 在不显著损失加速比的前提下提升生成质量
6. DCC:面向存内计算架构的以数据为中心的 ML 算子编译
来源:arXiv 链接:https://arxiv.org/abs/2511.15503 标签:存内计算 · 算子编译 · PIM · GPU 加速 · 系统优化
高性能主机可集成存内计算(PIM)器件,借助大内存带宽加速包括 LLM 在内的内存密集算子。DCC 提出以数据为中心的编译方法,自动将 ML 算子映射并优化到 PIM 架构上,为大模型算子提供系统级加速路径。
核心要点:
- 存内计算(PIM)以高带宽缓解内存密集算子的瓶颈
- 提出以数据为中心的编译流程,自动调度算子到 PIM 单元
- 面向 LLM 等大模型算子提供系统级加速路径
7. OpenEuroLLM 预训练缩放定律:学习率、批大小与损失的关系推导
来源:arXiv 链接:https://arxiv.org/abs/2608.28308 标签:缩放定律 · 预训练 · 学习率 · 批大小 · LLM 训练
论文研究在英语语料上预训练稠密 LLM 时学习率与批大小的缩放行为,不仅给出联合最优的学习率/批大小缩放,还刻画其随模型容量与数据规模的边际演化,建立可预测的预训练损失模型。
核心要点:
- 推导预训练中学习率与批大小随规模变化的联合最优缩放
- 刻画最优超参随模型容量与数据量的边际演化规律
- 为大模型预训练提供可预测的损失-算力规划依据
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | SemKV:基于「质量悬崖」语义引导的混合精度 KV Cache 量化 | arXiv | KV Cache 量化 |
| 2 | CateKV:面向长上下文 LLM 推理加速的顺序一致性 KV 管理 | arXiv | 长上下文加速 |
| 3 | Q-Strata:面向 MoE 混合精度量化的分层比特分配 | arXiv | MoE 量化 |
| 4 | Accelerate ND-Parallel:高效多 GPU 训练实践指南 | Hugging Face | 多 GPU 训练 |
| 5 | 基于熵感知 Token 拒绝的投机解码改进 | arXiv | 投机解码 |
| 6 | DCC:面向存内计算架构的以数据为中心的 ML 算子编译 | arXiv | 存内计算编译 |
| 7 | OpenEuroLLM 预训练缩放定律:学习率、批大小与损失的关系推导 | arXiv | 缩放定律 |
自动生成 · 2026-09-02 · jeffinchen daily tech reading list
评论