← Reading List
📰 技术速递

LLM 推理确定性、上下文并行与 KV 量化:从系统调度到 NVM 接口的协同优化

Tech多源前沿

📰 2026-09-09 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM 推理确定性、上下文并行服务、GPU 显存管理、低比特量化硬件与推理蒸馏。


1. CoRun:用填充实现简单高效的确定性 LLM 推理

来源:arXiv cs.OS / cs.PF 链接:http://arxiv.org/abs/2608.14376v1 标签:LLM推理 · 确定性 · 调度 · CUDA Graph · 解码

即便固定采样参数与随机种子,LLM 推理仍会出现输出不一致,根源在于批依赖的 GPU 执行(动态输入形状改变 kernel 分块与浮点归约顺序)。现有方案用 batch-invariant kernel 换取确定性,却使延迟翻倍、吞吐下降最高 74%。本文发现大多数 kernel 虽非 batch-invariant,却是 position-invariant,据此提出 CoRun:用隔离 prefill 与固定形状批解码分别处理两阶段,结合 CUDA Graph 实现高效确定性推理。在 Qwen、DeepSeek 等多样架构上,CoRun 在保确定性的同时,相比 batch-invariant 方案吞吐提升 15–324%,TTFT 降低 51.8%、TPOT 平均降低 48.6%。

核心要点:

  • 指出 LLM 推理非确定性的核心来源是批依赖 GPU 执行(动态形状改变 kernel 分块与浮点归约顺序)
  • 关键观察:多数 kernel 不具备 batch 不变性,但具备 position 不变性,可据此绕过限制
  • CoRun 用隔离 prefill + 固定形状批解码 + CUDA Graph 实现确定性且不牺牲性能
  • 实测在 Qwen/DeepSeek 等模型上吞吐提升 15–324%,TTFT 降 51.8%、TPOT 降 48.6%

2. Vertumnus:面向生产级 LLM 服务自适应上下文并行

来源:arXiv cs.OS 链接:http://arxiv.org/abs/2609.04774v1 标签:上下文并行 · LLM服务 · 长上下文 · 前缀缓存 · 调度

随着 LLM 上下文窗口与输入序列变长,上下文并行(CP,将序列切分到多 rank 并行计算)成为高效服务的关键。现有 CP 系统要么依赖静态配置,要么仅对活跃请求/批次调整 CP 度数。本文提出 Vertumnus,面向异构演化负载的自适应 CP 服务系统:请求级用融合排队延迟、缓存感知 prefill 时间与 GPU 时间成本的 placement cost 在异构 worker 间路由;集群级以秒级 split/merge 调整 worker 构成;并引入全局前缀缓存管理策略协调同/异 CP 度数的缓存放置与复制。在 64-GPU 集群上,最高负载下 mean TTFT 最多降低 28.1%,token 加权 SLO 达标率提升最高 13.3 个百分点。

核心要点:

  • 针对上下文并行(CP)静态配置不足的问题,提出请求级 + 集群级双层自适应机制
  • 请求级用综合排队延迟、缓存感知 prefill、GPU 时间成本的 placement cost 路由
  • 集群级通过秒级 split/merge 动态重组 worker,并配全局前缀缓存管理策略保缓存局部性
  • 64-GPU 实测:高负载下 mean TTFT 最多降 28.1%,SLO 达标率提升 13.3 个百分点

3. AutoUVM:面向显存超订阅 LLM 的自动化 UVM 预取框架

来源:arXiv cs.OS / cs.PF 链接:http://arxiv.org/abs/2609.06172v1 标签:GPU显存 · UVM · 预取 · 显存超订阅 · CUDA

LLM 规模常超出商用 GPU 显存,显存超订阅成为常态。NVIDIA 统一虚拟内存(UVM)可透明访问主机内存,但页错误驱动的迁移动辄带来严重开销。UVM 虽暴露预取/放置提示等原语,却需底层 CUDA 改造,且现有优化停留在粗粒度对象层,无法捕捉框架内部张量级访存行为。本文提出 AutoUVM:框架感知的自动化 UVM 预取系统,桥接 DL 框架与 UVM 的语义鸿沟,暴露张量级访存信息并做细粒度策略驱动预取,无需改模型代码、随运行时显存压力动态调整。以 roofline 启发的策略识别关键传输,10 个 LLM 上平均加速 3.1x,比最优前辈 UVM 预取器高 1.9x,比对象级预取器最高高 4.7x。

核心要点:

  • 显存超订阅下 UVM 页错误迁移开销巨大,且现有优化局限于粗粒度对象层
  • AutoUVM 桥接框架与 UVM 语义鸿沟,暴露张量级访存并做细粒度策略预取
  • 透明扩展、不改模型代码,随运行时显存压力动态调整预取策略
  • roofline 启发策略识别关键传输,10 个 LLM 平均加速 3.1x、最高 4.7x

4. 面向片上密集 NVM 的接口感知 KV Cache 量化

来源:arXiv cs.AR / cs.AI 链接:http://arxiv.org/abs/2609.05764v1 标签:KV Cache · 量化 · 片上NVM · 长上下文 · 低比特

KV Cache 是长上下文 LLM 解码的内存瓶颈(每步全量读取,带宽受限)。将量化 KV Cache 置于密集片上非易失内存(NVM)可消除片外传输,但已有 KV 量化(KIVI 增加约 25% 元数据、KVQuant 保留稀疏全精度离群值)是为 GPU 式内存设计的。本文审视这些结构在 NVM 固定量程转换器后的代价,并设计与之匹配的量化方案:随机旋转 + 每向量归一化使各坐标同量程,仅用一个共享 codebook(keys/values 各一);codebook 阈值一次性编程为读转换器参考电平,去量化仅 16 项查表 + 一次 norm 乘,每向量仅 1 标量元数据(约 3%)。在 3B–14B、上下文至 32k 上,4-bit KV Cache 在真实器件噪声下保精度,读能耗比 KIVI/KVQuant 低 3.1–3.6x,元数据开销低 8x。

核心要点:

  • 量化 KV Cache 放片上密集 NVM 可消除片外传输,但已有方案为 GPU 内存设计、不适配 NVM 接口
  • 随机旋转 + 每向量归一化让全 KV Cache 共用单一 codebook,阈值一次性编程为读转换器参考电平
  • 去量化仅 16 项查表 + 一次 norm 乘,每向量元数据约 3%(远优于 KIVI 的 25%)
  • 3B–14B 模型、32k 上下文下 4-bit KV 保精度,读能耗低 3.1–3.6x、元数据低 8x

5. FlexPosit:面向 LLM 推理加速器的可调分数精度

来源:arXiv cs.AR 链接:http://arxiv.org/abs/2609.04724v1 标签:混合精度 · Posit格式 · 位串行 · 加速器 · 低比特

量化在粒度与位宽间权衡精度与硬件效率:细粒度(group-wise)精度高但有缩放/控制开销,粗粒度(channel-wise)开销低却低精度掉点。混合精度算法上空间丰富,但现有 LLM 加速器只支持离散精度模式。FlexPosit 通过 Posit 量化与精度可调位串行架构的协同设计弥合鸿沟:算法上用分布感知量化 + 硬件对齐的敏感度引导混合精度分配,借 Posit 锥形精度以 channel-wise 的规则性达到 group-wise 的精度;架构上是统一位串行脉动阵列,配轻量每列解码器、统一 PE 与全局精度控制器,在保持规则数据流的同时支持分数精度可调。多模型下以 sub-5-bit 分数权重逼近 FP16 精度,吞吐比 BitMoD 高 1.8x、能耗低 1.2x,比 OliVe 高 1.5x、能耗低 2.0x。

核心要点:

  • 指出 group/channel-wise 量化与离散精度加速器的矛盾,混合精度设计空间未被探索
  • 算法端用 Posit 锥形精度 + 敏感度引导混合精度,以 channel-wise 规则性达 group-wise 精度
  • 架构端为统一位串行脉动阵列,配全局精度控制器实现分数精度可调且数据流规则
  • sub-5-bit 分数权重逼近 FP16,吞吐/能耗相对 BitMoD、OliVe 建立新 Pareto 前沿

6. 验证器引导的可解释推理框架:Gold-Anchored QLoRA 与组相对 RLVR

来源:arXiv cs.CL / cs.AI / cs.LG 链接:http://arxiv.org/abs/2609.05221v1 标签:RLVR · QLoRA · MoE · 可解释推理 · 验证器

LLM 推理能力强,但解释常不一致、弱接地、难验证。本文提出验证器引导的可解释推理框架(面向透明教育问答):gold-anchored QLoRA 微调 Qwen2.5-3B-Instruct,轻量 router 将逻辑题送 FOL/Z3 验证器、物理题送公式/单位感知符号求解器;验证器反馈用于 RLVR 的候选评估、自修订与奖励构建(P1 答案正确性、P2 证据/单位一致性、P3 推理深度)。推理时 gold-free 自一致性聚合候选,再由物理验证器做保守系统级纠错。438 例留出集上,RLVR 将 P3 从 50.68% 提至 72.20%,混合 P1 稳定在 55.94%;自一致性仅小幅提 P1,符号验证补齐剩余增益。

核心要点:

  • Gold-anchored QLoRA 微调 + 任务感知 router 将逻辑/物理题分派给符号验证器
  • 验证器反馈驱动组相对 RLVR 的候选评估、自修订与奖励(P1/P2/P3 三维)
  • 推理时自一致性聚合候选 + 物理验证器保守系统级纠错,提升答案可靠性
  • 438 例上 RLVR 将推理深度 P3 从 50.68% 提至 72.20%,符号验证补齐答案正确率

7. 全局蒸馏、局部适配:推理蒸馏与产品类型测试时训练的可扩展升级推荐

来源:arXiv cs.LG 链接:http://arxiv.org/abs/2609.05363v1 标签:推理蒸馏 · 测试时训练 · 推荐系统 · embedding · 低成本

升级推荐需识别保留用户意图且提供升级收益的更优替代品。LLM 能推理此类差异,但直接用于数亿产品对不现实。本文提出两级框架:L1 用检索增强少样本 LLM 教师生成结构化关系标签与自然语言理由,以对齐 + 对比目标监督紧凑 embedding-pair 分类器,推理仅需两个预计算 768 维 embedding、无 LLM 调用;L2 用产品类型测试时训练(PT-TTT)以少样本示范优化冻结学生上的轻量类目适配器。在 8,352 对人工基准上,15.5M 参数四分类蒸馏学生 AUC 0.924(优于标签-only 的 0.912);PT-TTT 将 AUC 提至 0.941。在 10 万对代理目录上,单八卡机的蒸馏学生比直接 LLM 推理快约 5,000x、成本约低 10,000x。

核心要点:

  • L1:检索增强少样本 LLM 教师生成标签与理由,蒸馏进紧凑 embedding-pair 分类器
  • 推理零 LLM 调用,仅用两个预计算 768 维产品 embedding 做分类
  • L2:产品类型测试时训练(PT-TTT)用少样本示范优化冻结学生的类目适配器
  • 8,352 对基准上 AUC 0.924→0.941;单八卡机比直接 LLM 推理快 5,000x、省 10,000x 成本

📊 今日速览

# 标题摘要 来源 方向
1 CoRun:用填充实现简单高效的确定性 LLM 推理 arXiv 推理系统
2 Vertumnus:面向生产级 LLM 服务自适应上下文并行 arXiv LLM服务
3 AutoUVM:面向显存超订阅 LLM 的自动化 UVM 预取框架 arXiv GPU内存
4 面向片上密集 NVM 的接口感知 KV Cache 量化 arXiv 量化·硬件
5 FlexPosit:面向 LLM 推理加速器的可调分数精度 arXiv 量化·加速器
6 验证器引导的可解释推理框架:Gold-Anchored QLoRA 与组相对 RLVR arXiv 训练·推理
7 全局蒸馏、局部适配:推理蒸馏与产品类型测试时训练的可扩展升级推荐 arXiv 蒸馏·训练

自动生成 · 2026-09-09 · jeffinchen daily tech reading list

评论