← Reading List
📰 技术速递

RAG 服务优化 · NPU 边缘推理 · 扩散语言模型蒸馏 · 模型虚拟化

Tech多源前沿

📰 2026-06-10 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 RAG 服务优化、边缘 LLM 推理/NPU 部署、内存计算加速、基础模型虚拟化、扩散语言模型蒸馏、Prefill 加速。


1. Harmonia:端到端 RAG 服务优化系统

来源:arXiv · cs.OS
链接:https://arxiv.org/abs/2505.07833
标签:RAG · LLM推理 · 系统优化 · 服务框架

Harmonia 提出了一套端到端的 RAG(检索增强生成)服务优化框架,针对 RAG pipeline 中检索与生成阶段的协同调度问题进行系统级重设计。传统 RAG serving 将检索与 LLM 推理割裂处理,导致资源利用率低下和尾延迟放大。Harmonia 通过跨阶段感知调度和流水线并行,显著降低了端到端服务延迟并提升吞吐量。

核心要点:

  • 检索与生成阶段协同调度,消除跨阶段等待瓶颈
  • 流水线并行设计使 RAG 服务吞吐量大幅提升
  • 端到端感知的资源分配策略,有效降低尾延迟

2. 从人工引导到自治:面向空间 NPU 的 LLM 端到端部署 Agent Skill 系统

来源:arXiv · cs.LG
链接:https://arxiv.org/abs/2606.07586
标签:NPU · 边缘推理 · LLM部署 · 编译优化

本文针对 Spatial NPU(空间型神经处理单元)平台的端到端 LLM 推理部署挑战,提出了一套 Agent Skill 系统。Spatial NPU 具备高能效优势,但其编译与调度复杂度极高,手动优化困难。该系统通过自动化 skill 模块,使 LLM 能自主完成算子映射、内存规划及调度生成,大幅降低部署门槛并提升能效。

核心要点:

  • 构建可组合的 Agent Skill 系统,自动化完成 NPU 部署全流程
  • 引入自治决策机制,减少人工干预,提升部署效率
  • 在边缘 Spatial NPU 上实现 LLM 端到端高能效推理

3. PALUTE:基于查找表的内存计算加速边缘 LLM 推理

来源:arXiv · cs.AR
链接:https://arxiv.org/abs/2606.08891
标签:PIM · 边缘AI · LLM量化 · 混合精度

PALUTE 提出了一种面向边缘设备的 Processing-In-Memory(PIM)加速方案,利用查找表(LUT)替代传统混合精度 GEMM 运算,从根本上降低边缘 LLM 推理的功耗和面积开销。在功率和面积预算极为严苛的边缘场景中,PALUTE 通过将 LLM 关键计算转化为查表操作,实现高效低功耗推理。

核心要点:

  • 以 LUT 查表替代混合精度矩阵乘法,大幅降低算术复杂度
  • 专为边缘设备设计,满足严苛功耗与面积约束
  • 与 PIM 架构深度融合,减少数据搬移开销

4. FMplex:可扩展基础模型的模型虚拟化服务系统

来源:arXiv · cs.OS
链接:https://arxiv.org/abs/2606.09643
标签:模型服务 · 基础模型 · 虚拟化 · 多任务

FMplex 提出了针对可扩展基础模型(Foundation Models)的模型虚拟化服务框架。随着 FM 被广泛用作语言、视觉、时序和多模态任务的骨干,如何高效同时服务多个下游任务成为关键挑战。FMplex 通过模型虚拟化技术,将共享主干与任务特定适配器解耦,实现多租户高效复用,降低服务成本。

核心要点:

  • 主干与适配器解耦的虚拟化架构,支持多任务并发服务
  • 跨任务共享计算资源,显著降低多租户服务开销
  • 适用于语言、视觉、时序等多模态基础模型场景

5. 数据高效的 AR-to-Diffusion 语言模型:在线蒸馏转换方法

来源:arXiv · cs.CL
链接:https://arxiv.org/abs/2606.06712
标签:扩散语言模型 · 知识蒸馏 · 自回归模型 · 训练效率

本文研究如何将预训练自回归语言模型(ARLM)高效转换为扩散语言模型(DLM)。现有方法通常需要从头预训练,代价高昂。作者提出基于在线策略蒸馏(On-Policy Distillation)的转换方案,以极少的数据和计算成本将 ARLM 的能力迁移至 DLM,使扩散模型具备更强的生成多样性与可控性。

核心要点:

  • 在线策略蒸馏无需从头预训练,大幅降低 DLM 训练成本
  • 保留原 ARLM 的语言理解能力,同时获得扩散模型优势
  • 数据效率高,适合资源受限的模型转换场景

6. SIFT:利用注意力不变性加速 RAG Prefill 的选择性索引方法

来源:arXiv · cs.AR
链接:https://arxiv.org/abs/2606.09441
标签:RAG · KV Cache · 注意力机制 · Prefill加速

SIFT 针对 RAG 场景中因注入大量检索文档导致 Prefill 阶段计算开销激增的问题,提出了基于注意力不变性(Attention Invariance)的选择性索引加速方法。通过识别 Prefill 计算中的注意力不变区域,SIFT 跳过冗余计算,大幅提升 RAG Prefill 速度,同时保持生成质量不变。

核心要点:

  • 发现并利用 RAG Prefill 中的注意力不变性,跳过冗余计算
  • 选择性索引机制显著降低长上下文 RAG 的 Prefill 延迟
  • 对生成质量无损,可即插即用于现有 RAG 推理系统

📊 今日速览

# 标题摘要 来源 方向
1 Harmonia:端到端 RAG 服务优化系统 arXiv RAG
2 从人工引导到自治:面向空间 NPU 的 LLM 端到端部 arXiv NPU
3 PALUTE:基于查找表的内存计算加速边缘 LLM 推理 arXiv PIM
4 FMplex:可扩展基础模型的模型虚拟化服务系统 arXiv 模型服务
5 数据高效的 AR-to-Diffusion 语言模型:在 arXiv 扩散语言模型
6 SIFT:利用注意力不变性加速 RAG Prefill arXiv RAG

自动生成 · 2026-06-10 · jeffinchen daily tech reading list

评论