← Reading List
📰 技术速递

LLM 推理优化与硬件加速前沿

Tech多源前沿

📰 2026-10-26 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 LLM 量化与 GEMM 加速、GPU 内存去重、KV 缓存系统、弹性推理与空间加速器自动生成。


1. FIGFLEX:与低位 LLM 量化协同设计的混合精度 FP-INT GEMM 加速器

来源:arXiv cs.AR 链接:http://arxiv.org/abs/2610.30480v1 标签:量化 · GEMM · 推理加速 · 低位权重 · 软硬件协同

权重仅量化(weight-only)把 LLM 主算力变成了浮点-整数(FP-INT)混合 GEMM,但现有 GPU 仍需把权重反量化为 FP16 再做张量核心乘加,低位带来省内存却省不下算力。FIGFLEX 提出算法-硬件协同设计的混合精度加速器,其位并行数据通路随精度降低而线性提升吞吐。

核心要点:

  • 提出 radix-4 移位加的 FP-INT 乘法重构,将乘加融合为统一的精度灵活部分积规约,并把部分积数量约减半;针对 INT3 设计专属优化回收空闲数据通路。
  • 配套混合精度量化器按 GPTQ 无法补偿的误差为每个通道组分配位宽,并以 2 的幂列缩放避免激活落入 FP16 次正规范围,量化模型可直接映射到硬件且不掉点。
  • 在 LLaMA-2-7B 上,3 位/2 位平均精度困惑度低于 GPTQ/AWQ 等方案,3 位混合精度线性 GEMM 的整芯片单位面积吞吐分别比 AxCore、FIGLUT 高 1.56x / 1.42x。

2. gKSM:面向无服务器 LLM 推理的驱动层 GPU 内存去重框架

来源:arXiv cs.OS 链接:http://arxiv.org/abs/2610.25219v1 标签:GPU内存 · 去重 · 无服务器推理 · VMM · 利用率

无服务器 LLM 推理常把多个实例放在同一张 GPU 上提升利用率,但每个实例各自保存权重与运行时状态,重复 GPU 内存成为主要瓶颈。gKSM 在驱动层实现透明的 GPU 内存去重,无需原生写时复制即可保证共享页的写隔离。

核心要点:

  • CPU-GPU 协同哈希管理:把哈希计算卸载到 GPU kernel,避免 CPU-GPU 间的冗余数据搬运。
  • 零拷贝权重去重:在权重传输前就消除重复;跨特权级页错误处理器结合内核轻量钩子与 CUDA VMM 用户态重映射实现隔离。
  • 相比 ServerlessLLM 降低 59.8% GPU 显存占用,内存受限负载下聚合吞吐提升 2.15x,集群仿真服务率达 99.97%。

3. SARIA:面向 LLM Agent 的持久化感知 KV 缓存(DRAM-SSD 协同重载)

来源:arXiv cs.OS 链接:http://arxiv.org/abs/2610.31169v1 标签:KV缓存 · SSD · LLM Agent · 多轮推理 · 预填充

多轮 LLM Agent 大量复用长上下文前缀,KV 缓存是降低预填充延迟的关键。SSD 能低成本扩展有限的 DRAM,但盲目持久化会带来巨大写流量、损耗 SSD 寿命,且重载带宽受限导致取回远慢于 DRAM。SARIA 从写入与读取两条路径联合优化。

核心要点:

  • 写路径:利用驱逐与复用历史,仅持久化在 DRAM 驻留期之外仍有复用价值的 KV 块,避免对已在 DRAM 的块做无用写入。
  • 读路径:在预填充后将命中 SSD 的 KV 块提升到 DRAM,限制 DRAM 争用;传输协调器调度 DRAM 读取与 SSD 传输共享 GPU 入口带宽。
  • 在 LMCache MP 上实测,相比全量重复缓存减少 57.1–58.9% SSD 写入,相比仅 DRAM 缓存将首 token 时延(TTFT)降低 42.3–79.7%。

4. Accordion:基于固定前缀层循环(Layer Looping)的弹性深度推理

来源:arXiv cs.CL 链接:http://arxiv.org/abs/2610.32492v1 标签:弹性推理 · Looped Transformer · MoE · 多预算 · 推理优化

LLM 服务面对差异巨大的推理预算,为每种预算单独训练和维护模型成本极高。Accordion 提出基于混合专家(MoE)的模型,通过固定前缀层循环支持五档推理预算,最低预算保留未展开的原始模型,无需跨预算一致性额外损失。

核心要点:

  • 联合预训练:每个 micro-batch 采样一个预算并优化下一 token 预测损失,无额外跨预算一致性目标。
  • 用监督微调与强化学习保留各预算,参数组合并与预算匹配的多教师 on-policy 蒸馏把三个领域专家融进一个模型。
  • 经 3.6T token 预训练,增加推理深度使 37 个任务五分类宏平均提升 3.01 个百分点,中等预算以一半额外层执行即捕获 89% 收益,并超越各领域专家。

5. TranSAGE:面向大规模 Transformer 的空间加速器自动生成框架

来源:arXiv cs.AR 链接:http://arxiv.org/abs/2610.32279v1 标签:空间加速器 · 编译生成 · DSE · 数据流 · RTL

大规模 Transformer 的计算与内存需求持续膨胀,空间加速器在片上带宽与能效上有优势,但手工设计成本高。现有加速器生成器多只支持单一算子,忽视了多算子流水线的收益。TranSAGE 用编译器框架联合优化调度与生成。

核心要点:

  • 集成设计空间探索(DSE)引擎、多算子数据流优化与基于动态规划的图划分,自动识别适合流水线的算子簇及最优数据流参数。
  • 设计空间架构原语与 lowering passes,自动生成高效 RTL 实现。
  • 在四种代表性 LLM 上,相较商用 GPU/NPU 基线吞吐最高提升 2.41x、能效最高提升 13.04x;相比 SOTA 加速器生成器吞吐与能效最高分别提升 11.33x / 6.07x。

6. SnakeCharmer:统一调度效用、时效与放置的 GPU 预取框架

来源:arXiv cs.AR 链接:http://arxiv.org/abs/2610.30990v1 标签:GPU预取 · 地址预测 · 内存延迟 · A100 · 能效

GPU 靠大规模线程级并行掩盖内存延迟,但当大量 warp 同时等待数据时仍会严重停顿。地址预测类预取器虽能缓解,但“预测准”不等于“有效”——预取必须值得发出、按时到达、且放置后不产生有害干扰。SnakeCharmer 从预测到收益落地统一控制。

核心要点:

  • 前后端解耦:前端预测器产出候选,后端控制路径联合决定每个候选是否发出、何时发出、数据在何处驻留。
  • 三项关键技术:零值感知过滤(效用)、分层反馈驱动的距离调优(时效)、寄存器辅助预取缓冲(放置)。
  • 在 A100 GPU 模型上,相较 Snake 性能/能效提升 12.8% / 20.8%,相较 APOGEE 提升 1.7% / 3.2%,硬件开销极小,且后端控制原理可迁移到不同预测器。

📊 今日速览

# 标题摘要 来源 方向
1 FIGFLEX arXiv cs.AR 量化加速
2 gKSM arXiv cs.OS GPU内存
3 SARIA arXiv cs.OS KV缓存
4 Accordion arXiv cs.CL 弹性推理
5 TranSAGE arXiv cs.AR 加速器生成
6 SnakeCharmer arXiv cs.AR GPU预取

自动生成 · 2026-10-26 · jeffinchen daily tech reading list

评论