← Reading List
📰 技术速递

LLM 推理优化 · GPU 微架构 · 边缘 VLA/VLM 加速

Tech多源前沿

📰 2026-11-20 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM 推理与服务优化、MoE 算力回收、边缘 VLM/VLA 加速、GPU SASS 微架构、智能体公平调度与硬件验证推理缩放。


1. 生成式推荐推理的 Beam Search 优化:先优 Cob 再优 Kernel

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2611.23339
标签:生成式推荐 · Beam Search · KV Cache · 推理优化 · vLLM

生成式推荐(GR)推理与常规 LLM 服务差异显著:输入序列长、beam 搜索宽、输出 token 少。现有 vLLM 等引擎把各 beam 当作独立序列批处理,导致共享 prompt 前缀的 KV cache 被重复读取。论文提出先优化调度骨架(Cob)再优化底层 kernel 的两阶段方法,消除冗余 KV 访问与计算。核心价值在于把 LLM 推理引擎的优化思路迁移到 GR 场景,显著降低长前缀、宽 beam 下的延迟与显存带宽压力。

核心要点:

  • GR 推理的长输入+宽 beam 特性使传统批处理方式产生大量冗余 KV cache 访问
  • 两阶段策略:先重构 beam 调度结构(Cob),再针对性优化 attention kernel
  • 在共享前缀场景下显著降低带宽消耗与端到端推理延迟

2. 挖掘专家并行空泡:在 MoE 推理间隙回收算力做微调

来源:arXiv cs.OS
链接:https://arxiv.org/abs/2611.24496
标签:MoE · 专家并行 · 算力回收 · 微调 · GPU 利用率

GPU 昂贵但延迟敏感的 LLM 推理常留有部分空闲。共置(colocation)通过在服务旁跑 best-effort 任务(如微调)来回收算力,而 MoE 架构的专家并行又引入了新的空闲来源。本文刻画了专家并行下产生的“空泡”(bubble),并提出在推理间隙调度微调任务以填充分配不均的专家计算空隙。该方法在不影响在线服务 SLA 的前提下提升整体 GPU 利用率,对大规模 MoE 部署有实际降本价值。

核心要点:

  • MoE 专家并行在 token 路由不均时产生可被回收的计算空泡
  • 提出在推理空闲间隙插入 best-effort 微调任务,实现算力共置
  • 在保障在线推理延迟 SLA 的同时提升 GPU 整体利用率

3. 面向智能体 LLM 服务的公平资源共享

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2611.23558
标签:Agentic Serving · 公平性 · 资源争用 · LLM 推理 · 调度

随着 LLM 智能体在共享推理基础设施上执行多步复杂任务,端到端服务栈中的资源争用导致不同 agent 间严重且不均的减速。现有 agentic serving 系统主要优化吞吐与延迟,对并发 agent 间的公平性关注有限。本文系统刻画了 agent 级资源争用,并提出兼顾公平性的调度机制,使多 agent 在共享 GPU 上获得更均衡的响应时间。对多租户 agent 平台的服务质量保障具有参考意义。

核心要点:

  • 多步 agent 任务在共享栈上产生跨 agent 的不均衡减速
  • 现有系统偏重吞吐/延迟,忽略 agent 间公平性
  • 提出公平性感知调度,改善并发 agent 的端到端响应均衡

4. HETEROVLM:在异构 Versal SoC 上做边缘多请求 VLM 服务

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2611.23878
标签:边缘推理 · VLM · 异构 SoC · Versal · 实时调度

车载与机器人等边缘设备需以不同截止时间并发服务多个视觉-语言模型(VLM)请求,每个请求混合计算密集的编码器/prefill 与访存密集的 decode。GPU 数据中心式调度依赖每轮 host 调度,紧急请求须等待当前迭代,小批量 decode 也被迫合批。本文在 Xilinx Versal 异构 SoC(AI Engine + 可编程逻辑)上设计 VLM 服务架构,将不同相位负载映射到合适计算单元以满足多截止时间。为边缘多请求 VLM 部署提供了软硬协同的实用方案。

核心要点:

  • 边缘 VLM 请求混合计算密集与访存密集相位,且有不同截止时间
  • 利用 Versal 的 AI Engine 与可编程逻辑分别承接不同负载相位
  • 相比 GPU 轮次调度,更好满足多请求实时性约束

5. VLA 模型硬件加速:随流步提升权精度以缓解访存瓶颈

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2611.24234
标签:VLA · 扩散 Transformer · 访存瓶颈 · 权重量化 · 机器人推理

GR00T 等视觉-语言-动作(VLA)模型通过动作头(扩散 Transformer)在少量 flow-matching 步内由噪声生成动作块。每一步都从 DRAM 重读全部头部权重,却仅作用于约 50 个 token,使推理高度访存受限,延迟与能耗居高不下。本文提出随 flow 步动态提升权重量化精度的方法,在不显著牺牲质量的前提下减少带宽压力。为机器人端 VLA 的实时、低功耗部署提供了硬件友好的优化路径。

核心要点:

  • VLA 动作头每步重读全量权重但仅处理少量 token,呈访存瓶颈
  • 提出随推理步动态调节权重量化精度的策略
  • 在质量损失可控下降低带宽与能耗,利于端侧机器人部署

6. 解剖 NVIDIA SASS 控制码隐藏字段:Barrier 豁免与可编程 Warp 优先级

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2611.24437
标签:GPU · SASS · CUDA · 控制码 · Kernel 优化

NVIDIA 原生 GPU 指令集(SASS)每条指令都带控制码引导硬件调度,已有研究解码了已知字段来优化 kernel。本文发现一个此前未被探索的控制码字段:它在 cuBLAS、cuDNN 等闭源库中出现了超过 50 万次,但 nvcc 编译时从不生成。作者逆向并阐明了该字段的 Barrier 豁免与可编程 warp 优先级语义,并展示如何利用它进一步压榨 GPU kernel 性能。属于深入的 GPU 微架构底层优化,对高性能 CUDA 库开发者极具价值。

核心要点:

  • 发现 SASS 中一个 nvcc 从不生成、却在闭源库中高频出现的控制码字段
  • 逆向解析其 Barrier 豁免与可编程 warp 优先级语义
  • 示范了利用该隐藏字段优化 GPU kernel 调度的可行路径

7. 智能体硬件验证中的推理时缩放:跨协议复杂度的多策略刻画

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2611.23905
标签:推理时缩放 · 硬件验证 · 代码生成 · LLM 推理 · 多策略

推理时缩放(inference-time scaling)在生成阶段分配更多算力而非预训练,已显著提升 LLM 推理质量。但其在结构化硬件验证代码生成中的表现尚未清晰——这类输出须同时满足编译器正确性、协议语义与功能覆盖约束。本文跨协议复杂度对多种推理时缩放策略进行系统刻画,量化不同策略在不同难度验证任务上的收益与代价。为将 LLM 可靠地用于 RTL/协议验证提供了实证指南。

核心要点:

  • 推理时缩放在须满足多约束的硬件验证代码生成中行为未被充分研究
  • 跨协议复杂度系统对比多种缩放策略的收益与开销
  • 为 LLM 辅助 RTL/协议验证的可靠落地提供实证依据

📊 今日速览

# 标题摘要 来源 方向
1 生成式推荐推理的 Beam Search 优化:先优 Cob 再优 Kernel arXiv cs.LG 推理优化
2 挖掘专家并行空泡:在 MoE 推理间隙回收算力做微调 arXiv cs.OS 算力回收
3 面向智能体 LLM 服务的公平资源共享 arXiv cs.AR 公平调度
4 HETEROVLM:在异构 Versal SoC 上做边缘多请求 VLM 服务 arXiv cs.AR 边缘推理
5 VLA 模型硬件加速:随流步提升权精度以缓解访存瓶颈 arXiv cs.AR VLA加速
6 解剖 NVIDIA SASS 控制码隐藏字段:Barrier 豁免与可编程 Warp 优先级 arXiv cs.AR GPU微架构
7 智能体硬件验证中的推理时缩放:跨协议复杂度的多策略刻画 arXiv cs.AR 硬件验证

自动生成 · 2026-11-20 · jeffinchen daily tech reading list

评论