← Reading List
📰 技术速递

大模型量化/推理加速与异构服务架构

Tech多源前沿

📰 2026-08-02 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 大模型训练后量化、KV Cache 推理诊断、GPU/PNM 异构服务、LLM 推理调度、采样策略与 Computer-Use 奖励模型评测。


1. MixFrag:面向视觉 Transformer 的易损性引导混合精度训练后量化

来源:cs.LG 链接:http://arxiv.org/abs/2607.28589v1 标签:PTQ · 混合精度 · ViT · 模型压缩 · 边缘部署

训练后量化(PTQ)是资源受限设备上部署视觉 Transformer(ViT)的有效手段,但现有方法通常对所有组件采用统一位宽,忽略了不同层对量化的异质敏感度。MixFrag 提出“易损性”(fragility)度量,逐层/逐组件评估量化敏感度,据此分配混合位宽,在精度与压缩比之间取得更优平衡。

核心要点:

  • 提出 fragility 指标量化各 Transformer 组件对量化的敏感程度
  • 基于易损性做混合精度分配,替代传统的统一位宽方案
  • 在资源受限设备上的 ViT 部署实现更高精度-压缩比权衡

2. Stage-Replay 分歧源于 KV Cache:定长前缀精度控制与双向缓存移植

来源:cs.CL 链接:http://arxiv.org/abs/2607.28495v1 标签:KV Cache · 推理诊断 · 前缀精度 · Qwen2.5 · 缓存一致性

Stage-replay 诊断方法假设“从解码状态续写”等同于“重新 prefill 相同前缀”,本文在 Qwen2.5 派生系统上对推理阶段边界进行审计,通过 200 条配对实验比较保留实时 cache 与一次性 prefill 相同整数 token 的差异,发现两者存在可被精度控制修复的分歧。

核心要点:

  • 揭示 stage-replay 假设在阶段边界处不成立,存在可复现的分歧
  • 固定前缀精度可控制并缩小实时 cache 与重 prefill 的差异
  • 提出双向 cache 移植(transplantation)缓解解码状态不一致

3. NELSSA:基于长度感知请求调度的 GPU-PNM 异构大模型服务系统

来源:cs.AR 链接:http://arxiv.org/abs/2607.26633v1 标签:LLM Serving · GPU · PNM · 异构调度 · 混合长度

现代 LLM 及其 Agent 应用带来从数百到数十万 token 的混合长度服务负载,GPU 中心化服务在处理这种异构负载时暴露根本低效。NELSSA 提出 GPU 与存内计算(PNM)异构系统,按请求长度做智能放置,让长上下文请求卸载到 PNM,从而提升整体吞吐与资源利用率。

核心要点:

  • GPU-PNM 异构架构同时服务短/长混合长度请求
  • 基于长度的请求放置策略缓解 GPU 中心化服务的低效
  • 面向 Agent 长上下文场景提升吞吐与资源利用率

4. 超越 Prefill-Decode 分离:面向异构平台的动态算子调度 LLM 推理解剖

来源:cs.AR 链接:http://arxiv.org/abs/2607.25498v1 标签:LLM 推理 · PD 分离 · 算子调度 · roofline · 异构平台

Prefill-Decode 分离(PD)与基于 roofline 的算子放置是跨异构系统切分 LLM 推理的常用策略,但实际往往不够。端到端延迟还取决于负载形态、运行时设备争用与权重布局。本文提出 DOPS——硬件感知、闭环的动态算子调度框架,对推理做更细粒度的切分。

核心要点:

  • 指出 PD 分离与 roofline 放置对端到端延迟优化的不足
  • 提出 DOPS 动态算子调度,考虑负载形状与设备争用
  • 面向异构平台做硬件感知的闭环节点级推理切分

5. 多采样胜于多反思:在同等 Token 成本下 Self-Refine/Reflexion 不敌重复采样(1.5B–7B)

来源:cs.CL 链接:http://arxiv.org/abs/2607.28576v1 标签:推理策略 · 采样 · Self-Refine · Reflexion · 成本分析

让模型自我规划、批评、重写的方法几乎都会生成比单次思维链多得多的文本。由于生成更多文本本身就会提升准确率,因此超越单次 CoT 的增益并不能证明方法本身有效。本文在 1.5B–7B 模型上严格对比:在相等 token 预算下,简单重复采样胜过 Self-Refine 与 Reflexion 等反思式方法。

核心要点:

  • 揭示反思类方法增益多来自“生成更多 token”而非方法本身
  • 在 1.5B–7B 上以相等 token 成本做严格受控对比
  • 结论:简单重复采样(best-of-n)优于自反思/辩论式方法

6. LightRot:面向低比特大模型推理的轻量旋转方案与专用加速器架构

来源:cs.AR 链接:http://arxiv.org/abs/2607.27704v1 标签:低比特量化 · 旋转量化 · LLM 推理 · 硬件加速器 · 能效

随着 LLM 能力增强,高能效且准确的低比特推理愈发关键。LightRot 提出轻量旋转方案与专用硬件加速器,集成分组局部旋转(GLR)等设计,在不显著增加开销的前提下降低旋转量化的计算与存储成本,实现低比特 LLM 的高效推理。

核心要点:

  • 提出轻量旋转方案降低低比特 LLM 推理的精度损失
  • 设计专用硬件加速器集成分组局部旋转(GLR)
  • 在能耗与推理精度之间取得更优平衡

7. OSReward:面向跨平台计算机使用(Computer-Use)奖励模型的标准化评测

来源:cs.CL 链接:http://arxiv.org/abs/2607.28609v1 标签:Reward Model · CUA · 强化学习 · 轨迹验证 · 评测基准

Computer-using agents(CUA)快速发展,其轨迹记录动作、状态与推理。验证轨迹是否完成任务是 CUA 评测、数据构建与强化学习的核心,但人工撰写验证器或标注难以规模化。OSReward 提出标准化、跨平台的奖励模型评测体系,为 CUA 的可验证反馈提供统一基准。

核心要点:

  • 定义跨平台 CUA 奖励模型的标准化评测协议
  • 解决人工验证器无法规模化验证 agent 轨迹的问题
  • 支撑计算机使用 agent 的数据构建与强化学习反馈

📊 今日速览

# 标题摘要 来源 方向
1 MixFrag:面向视觉 Trans… cs.LG 模型量化
2 Stage-Replay 分歧源于 … cs.CL 推理诊断
3 NELSSA:基于长度感知请求调度的… cs.AR 异构服务
4 超越 Prefill-Decode … cs.AR 推理调度
5 多采样胜于多反思:在同等 Token… cs.CL 推理策略
6 LightRot:面向低比特大模型推… cs.AR 低比特推理
7 OSReward:面向跨平台计算机使… cs.CL 智能体评测

自动生成 · 2026-08-02 · jeffinchen daily tech reading list

评论