← Reading List
📰 技术速递

FP4 KV 缓存、扩散 LM 加速与端侧/晶圆级推理前沿

Tech多源前沿

📰 2026-11-10 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 FP4 KV 缓存量化、扩散语言模型推理加速、边缘/晶圆级硬件协同、端侧智能体与对齐安全等方向。


1. BitDecoding-FP4:基于算法-系统协同设计的原生 FP4 KV 缓存解码

来源:cs.AR (arXiv) 链接:https://arxiv.org/abs/2611.09825 标签:FP4 量化 · KV Cache · 算法-系统协同 · GPU Tensor Core · 长上下文推理

随着长上下文 LLM 服务普及,KV 缓存对显存容量与带宽的占用成为主要瓶颈。本文提出 BitDecoding-FP4,将 NVFP4/MXFP4 等 4-bit 微缩放格式贯穿 KV 缓存压缩与注意力计算,使注意力可直接在 FP4 Tensor Core 上执行,从算法与系统两层协同消除精度损失与数据搬运开销。

核心要点:

  • 用 FP4 微缩放格式压缩 KV 缓存,显著降低显存与带宽压力
  • 注意力计算直接在 FP4 Tensor Core 上完成,避免反复反量化
  • 算法-系统协同设计在 4-bit 下保持接近 FP16 的解码精度

2. DUET:面向块扩散语言模型的双稀疏推理

来源:cs.CL (arXiv) 链接:https://arxiv.org/abs/2611.09239 标签:扩散语言模型 · 双稀疏 · 推理加速 · 块生成 · 注意力优化

扩散语言模型(DLM)通过迭代去噪实现并行 token 生成,但推理成本高——每次迭代都要对不断增长的上下文前缀重复做注意力计算。DUET 提出双稀疏推理机制,在序列维与特征维同时稀疏化,削减冗余计算,在保持生成质量的同时大幅加速块扩散模型的推理。

核心要点:

  • 识别扩散 LM 推理中重复注意力计算的冗余来源
  • 序列维与特征维双管齐下实现稀疏化
  • 在不牺牲生成质量前提下显著降低推理开销

3. Embedded Arena:基于硬件反馈的迭代式优化

来源:cs.AR (arXiv) 链接:https://arxiv.org/abs/2606.16190 标签:边缘 AI · 硬件反馈 · 迭代优化 · 本地推理 · 部署

当 AI 走向机器人、环境传感器、医疗可穿戴等物理场景,本地推理必须满足延迟、通信与隐私约束。Embedded Arena 提出以真实硬件反馈驱动的迭代优化框架,让模型/系统配置在实际部署设备上持续调优,弥合仿真与真实边缘环境之间的差距。

核心要点:

  • 面向机器人/传感器等真实物理部署场景
  • 用真实硬件指标反馈驱动闭环迭代优化
  • 降低仿真-现实鸿沟带来的性能落差

4. MeshRT:面向晶圆级加速器的编译期管控低延迟高吞吐推理运行时

来源:cs.OS (arXiv) 链接:https://arxiv.org/abs/2611.08508 标签:晶圆级加速器 · 编译期调度 · 低延迟 · 高吞吐 · 推理运行时

晶圆级加速器具备超低延迟 AI 推理潜力,但现有系统栈成本高昂——大量推理技术仍以通用、未充分定制的运行时承载。MeshRT 在编译期对晶圆级互连与计算资源进行管控与调度,构建专用运行时,在保证高吞吐的同时压低延迟与部署成本。

核心要点:

  • 针对晶圆级互连特性做编译期资源管控
  • 专用运行时替代通用栈以降低系统成本溢价
  • 兼顾超低延迟与高吞吐的推理服务

5. 领域微调大模型的安全护栏侵蚀:生物医学 LLM 知识型拒答的配对审计

来源:cs.CL (arXiv) 链接:https://arxiv.org/abs/2611.08780 标签:领域微调 · 安全护栏 · 生物医学 LLM · 对齐退化 · 审计

生物医学等领域微调模型快速扩张,但微调在提升任务性能的同时可能侵蚀原模型的安全护栏。本文通过配对审计,系统考察领域微调如何削弱模型在知识不确定时的拒答(abstention)能力,揭示“能力提升、对齐退化”的风险,为安全微调提供实证依据。

核心要点:

  • 领域微调会显著削弱模型的知识型拒答能力
  • 提出配对审计方法量化护栏侵蚀程度
  • 为安全、可靠的地狱微调提供警示与改进方向

6. MobiInfer:基于负载感知推理加速端侧 GUI 智能体

来源:cs.OS (arXiv) 链接:https://arxiv.org/abs/2611.08496 标签:端侧推理 · 移动 GUI 智能体 · 负载感知 · 多模态 · 手机部署

移动 GUI 智能体通过“观察-推理-行动”循环执行手机任务,但多模态模型直接部署在手机上受严格端侧算力与能耗限制。MobiInfer 提出负载感知的推理加速方案,根据当前任务负载动态调度计算,让 GUI 智能体在端侧手机上高效运行。

核心要点:

  • 针对手机端侧算力/能耗约束设计加速
  • 负载感知调度动态分配推理资源
  • 使多模态 GUI 智能体可在本地手机高效运行

📊 今日速览

# 标题摘要 来源 方向
1 BitDecoding-FP4:基于算法-系统协 cs.AR KV 量化
2 DUET:面向块扩散语言模型的双稀疏推理 cs.CL 扩散 LM 推理
3 Embedded Arena:基于硬件反馈的迭代 cs.AR 边缘部署
4 MeshRT:面向晶圆级加速器的编译期管控低延迟 cs.OS 晶圆级运行时
5 领域微调大模型的安全护栏侵蚀:生物医学 LLM cs.CL 微调对齐
6 MobiInfer:基于负载感知推理加速端侧 G cs.OS 端侧智能体

自动生成 · 2026-11-10 · jeffinchen daily tech reading list

评论