← Reading List
📰 技术速递

大模型量化一致性与近存推理架构

Tech多源前沿

📰 2026-08-18 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 大模型量化一致性、GPU/INT8 内核审计、OS 内存回收、确定性推理、高带宽存储近存推理与模型剪枝。


1. 量化 LLM 推理中的跨内核分歧定位:INT8 GEMM 并非可互换

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2608.13756
标签:INT8量化 · LLM推理 · GPU内核 · 数值一致性 · GEMM

论文挑战了一个常见假设:两个实现了相同缩放 INT8 GEMM 接口的 GPU 内核通常被视为可互换。作者固定 checkpoint 不变,在不同内核实现下测试同一量化 LLM 的推理输出,发现跨内核的微妙数值分歧会在长上下文与低比特场景下被放大,导致输出质量出现可观测的差异。

核心要点:

  • 提出一套系统化测试方法,在固定 checkpoint 与输入下对比不同 INT8 GEMM 内核的逐层数值轨迹
  • 定位到分歧主要来自累加顺序、缩放因子传播与尾段舍入策略的差异
  • 给出生产部署建议:在量化推理链路中应对内核实现做锁定与回归校验,而非仅校验顶层精度

2. 规格表不是内核:NVIDIA Blackwell Ultra 上 INT8 可用性的 ISA 与源码级审计

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2608.11693
标签:INT8 · Blackwell · GPU架构 · 张量核心 · 编译器审计

NVIDIA 公布的 Blackwell Ultra (B300) 规格给出 FP8 与 INT8 张量核心吞吐比约 30:1,但论文通过 ISA 与源码级审计指出,实际 INT8 数据路径的可用性受编译器、精度模式与指令编码约束,并非规格表所示那般直接可用。作者逐层还原了从高层算子到底层指令的真实可达性。

核心要点:

  • 从规格表声明出发,逐层下钻到 SASS/ISA 与开源编译器后端,验证 INT8 张量核心的真实可达路径
  • 揭示规格吞吐比与可实际触发的指令序列之间存在显著差距,部分路径需要特定数据布局
  • 为底层算子作者提供可落地的 INT8 部署检查清单,避免在 Blackwell 上误判算力上限

3. 面向 PSI 压缩内存的有界回收执行器:一次受控消融

来源:arXiv cs.OS
链接:https://arxiv.org/abs/2608.13689
标签:操作系统 · 内存压力 · PSI · 压缩内存 · 回收策略

当活跃进程的工作集超过物理内存时,系统进入内存压力状态。论文提出一种有界回收执行器 (Bounded Reclaim Actuator),在 PSI (Pressure Stall Information) 信号指引下对压缩内存的回收速率做受控调节,并通过受控消融实验量化了不同回收激进程度对尾延迟与吞吐的影响。

核心要点:

  • 将 PSI 指标作为闭环反馈,动态约束压缩内存的回收带宽,避免回收风暴
  • 以受控消融区分回收触发时机、速率上限与压缩比三者的独立贡献
  • 在真实负载下显著降低因内存压力导致的请求尾延迟抖动

4. CoRun:用 Padding 实现确定性 LLM 推理

来源:arXiv cs.OS
链接:https://arxiv.org/abs/2608.14376
标签:LLM推理 · 确定性 · 批处理 · Padding · 并发调度

即便采样参数与随机种子固定,LLM 推理仍因并发调度与批组合的非确定性而产出不一致结果。CoRun 提出用简单的序列 Padding 与固定批布局,使同一请求在不同并发条件下得到逐位一致的输出,从而让推理结果可被复现与审计。

核心要点:

  • 指出并发批处理中 Padding 模式与调度顺序是无声的非确定性来源
  • 用统一 Padding 与固定运行顺序消除跨次调用的数值分歧,无需修改模型权重
  • 在保持吞吐的前提下实现可复现推理,利于评测与合规审计

5. 高带宽闪存 (HBF) 在现代 LLM 推理中的机遇与挑战

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2608.13868
标签:LLM推理 · 高带宽闪存 · 存储层次 · 内存容量 · 近存计算

论文系统调研了将高带宽闪存 (HBF) 引入 LLM 推理存储层次的可行性。随着模型权重、KV 缓存与多模型变体的规模增长,HBM 容量与成本成为瓶颈,HBF 以更高容量与单位比特成本优势提供新选择,但也带来带宽、耐久与一致性方面的工程挑战。

核心要点:

  • 量化 HBF 在权重常驻、冷层卸载与 KV 缓存分级三类场景的收益边界
  • 分析 HBF 相对 HBM/DRAM 的带宽差距对端到端时延的实际影响
  • 给出分层放置与预取策略,缓解耐久与一致性带来的系统级风险

6. 基于高带宽 ReRAM 近存架构的 MoE 专家执行(分离式 LLM 服务)

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2608.13962
标签:MoE · 近存计算 · ReRAM · 分离式推理 · 专家并行

注意力-FFN 分离式服务将 LLM 模块映射到专用资源池,为把 MoE 权重常驻于高带宽 ReRAM 近存架构创造了条件。论文提出一种专家执行方案,利用近存带宽缓解专家权重搬运瓶颈,在分离式服务框架下提升 MoE 推理的吞吐与能效。

核心要点:

  • 将 MoE 专家权重常驻于 ReRAM 近存单元,减少跨层级权重搬运
  • 在注意力-FFN 分离式架构上设计专家到近存池的映射与调度
  • 在带宽受限场景下取得吞吐与能耗的显著改善

7. 批级自适应剪枝:面向语言推理模型的周期化激活感知权值剪枝

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2608.14003
标签:模型剪枝 · 推理模型 · 激活感知 · 权值稀疏 · LRM

大推理模型 (LRM) 借助长链思维生成取得强性能,却带来高昂计算开销。论文提出批级自适应剪枝:以周期性方式统计神经元激活,对权值做激活感知的稀疏化,在尽量保留推理能力的同时压低每步计算量,并随批次动态调整稀疏度。

核心要点:

  • 以批级粒度周期性评估神经元激活,驱动激活感知的权值剪枝
  • 稀疏度随输入批次动态调整,平衡推理质量与算力开销
  • 在多种推理基准上以可控精度损失显著降低计算量

📊 今日速览

# 标题摘要 来源 方向
1 量化 LLM 推理中的跨内核分歧定位:INT8 GEMM 并非可互换 arXiv INT8量化
2 规格表不是内核:NVIDIA Blackwell Ultra 上 INT8 可用性的 ISA 与源码级审计 arXiv INT8
3 面向 PSI 压缩内存的有界回收执行器:一次受控消融 arXiv 操作系统
4 CoRun:用 Padding 实现确定性 LLM 推理 arXiv LLM推理
5 高带宽闪存 (HBF) 在现代 LLM 推理中的机遇与挑战 arXiv LLM推理
6 基于高带宽 ReRAM 近存架构的 MoE 专家执行(分离式 LLM 服务) arXiv MoE
7 批级自适应剪枝:面向语言推理模型的周期化激活感知权值剪枝 arXiv 模型剪枝

自动生成 · 2026-08-18 · jeffinchen daily tech reading list

评论