📰 2026-06-10 · 每日技术速递
今日精选 6 篇深度技术文章,覆盖 RAG 服务优化、边缘 LLM 推理/NPU 部署、内存计算加速、基础模型虚拟化、扩散语言模型蒸馏、Prefill 加速。
1. Harmonia:端到端 RAG 服务优化系统
来源:arXiv · cs.OS
链接:https://arxiv.org/abs/2505.07833
标签:RAG · LLM推理 · 系统优化 · 服务框架
Harmonia 提出了一套端到端的 RAG(检索增强生成)服务优化框架,针对 RAG pipeline 中检索与生成阶段的协同调度问题进行系统级重设计。传统 RAG serving 将检索与 LLM 推理割裂处理,导致资源利用率低下和尾延迟放大。Harmonia 通过跨阶段感知调度和流水线并行,显著降低了端到端服务延迟并提升吞吐量。
核心要点:
- 检索与生成阶段协同调度,消除跨阶段等待瓶颈
- 流水线并行设计使 RAG 服务吞吐量大幅提升
- 端到端感知的资源分配策略,有效降低尾延迟
2. 从人工引导到自治:面向空间 NPU 的 LLM 端到端部署 Agent Skill 系统
来源:arXiv · cs.LG
链接:https://arxiv.org/abs/2606.07586
标签:NPU · 边缘推理 · LLM部署 · 编译优化
本文针对 Spatial NPU(空间型神经处理单元)平台的端到端 LLM 推理部署挑战,提出了一套 Agent Skill 系统。Spatial NPU 具备高能效优势,但其编译与调度复杂度极高,手动优化困难。该系统通过自动化 skill 模块,使 LLM 能自主完成算子映射、内存规划及调度生成,大幅降低部署门槛并提升能效。
核心要点:
- 构建可组合的 Agent Skill 系统,自动化完成 NPU 部署全流程
- 引入自治决策机制,减少人工干预,提升部署效率
- 在边缘 Spatial NPU 上实现 LLM 端到端高能效推理
3. PALUTE:基于查找表的内存计算加速边缘 LLM 推理
来源:arXiv · cs.AR
链接:https://arxiv.org/abs/2606.08891
标签:PIM · 边缘AI · LLM量化 · 混合精度
PALUTE 提出了一种面向边缘设备的 Processing-In-Memory(PIM)加速方案,利用查找表(LUT)替代传统混合精度 GEMM 运算,从根本上降低边缘 LLM 推理的功耗和面积开销。在功率和面积预算极为严苛的边缘场景中,PALUTE 通过将 LLM 关键计算转化为查表操作,实现高效低功耗推理。
核心要点:
- 以 LUT 查表替代混合精度矩阵乘法,大幅降低算术复杂度
- 专为边缘设备设计,满足严苛功耗与面积约束
- 与 PIM 架构深度融合,减少数据搬移开销
4. FMplex:可扩展基础模型的模型虚拟化服务系统
来源:arXiv · cs.OS
链接:https://arxiv.org/abs/2606.09643
标签:模型服务 · 基础模型 · 虚拟化 · 多任务
FMplex 提出了针对可扩展基础模型(Foundation Models)的模型虚拟化服务框架。随着 FM 被广泛用作语言、视觉、时序和多模态任务的骨干,如何高效同时服务多个下游任务成为关键挑战。FMplex 通过模型虚拟化技术,将共享主干与任务特定适配器解耦,实现多租户高效复用,降低服务成本。
核心要点:
- 主干与适配器解耦的虚拟化架构,支持多任务并发服务
- 跨任务共享计算资源,显著降低多租户服务开销
- 适用于语言、视觉、时序等多模态基础模型场景
5. 数据高效的 AR-to-Diffusion 语言模型:在线蒸馏转换方法
来源:arXiv · cs.CL
链接:https://arxiv.org/abs/2606.06712
标签:扩散语言模型 · 知识蒸馏 · 自回归模型 · 训练效率
本文研究如何将预训练自回归语言模型(ARLM)高效转换为扩散语言模型(DLM)。现有方法通常需要从头预训练,代价高昂。作者提出基于在线策略蒸馏(On-Policy Distillation)的转换方案,以极少的数据和计算成本将 ARLM 的能力迁移至 DLM,使扩散模型具备更强的生成多样性与可控性。
核心要点:
- 在线策略蒸馏无需从头预训练,大幅降低 DLM 训练成本
- 保留原 ARLM 的语言理解能力,同时获得扩散模型优势
- 数据效率高,适合资源受限的模型转换场景
6. SIFT:利用注意力不变性加速 RAG Prefill 的选择性索引方法
来源:arXiv · cs.AR
链接:https://arxiv.org/abs/2606.09441
标签:RAG · KV Cache · 注意力机制 · Prefill加速
SIFT 针对 RAG 场景中因注入大量检索文档导致 Prefill 阶段计算开销激增的问题,提出了基于注意力不变性(Attention Invariance)的选择性索引加速方法。通过识别 Prefill 计算中的注意力不变区域,SIFT 跳过冗余计算,大幅提升 RAG Prefill 速度,同时保持生成质量不变。
核心要点:
- 发现并利用 RAG Prefill 中的注意力不变性,跳过冗余计算
- 选择性索引机制显著降低长上下文 RAG 的 Prefill 延迟
- 对生成质量无损,可即插即用于现有 RAG 推理系统
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | Harmonia:端到端 RAG 服务优化系统 | arXiv | RAG |
| 2 | 从人工引导到自治:面向空间 NPU 的 LLM 端到端部 | arXiv | NPU |
| 3 | PALUTE:基于查找表的内存计算加速边缘 LLM 推理 | arXiv | PIM |
| 4 | FMplex:可扩展基础模型的模型虚拟化服务系统 | arXiv | 模型服务 |
| 5 | 数据高效的 AR-to-Diffusion 语言模型:在 | arXiv | 扩散语言模型 |
| 6 | SIFT:利用注意力不变性加速 RAG Prefill | arXiv | RAG |
自动生成 · 2026-06-10 · jeffinchen daily tech reading list
评论