📰 2026-05-30 · 每日技术速递
今日精选 6 篇深度技术文章,覆盖 LLM推理引擎、MoE显存优化、RL/SFT遗忘机理、LoRA特征分析、上下文蒸馏、硬件感知NAS。
1. RTP-LLM:阿里巴巴高性能大语言模型推理引擎
来源:cs.OS
链接:https://arxiv.org/abs/2605.29639
标签:LLM推理 · KV Cache · 连续批处理 · CUDA优化 · 推理系统
阿里巴巴提出 RTP-LLM,一个面向生产环境的高性能 LLM 推理引擎。系统通过连续批处理(Continuous Batching)、精细化 KV Cache 管理与 CUDA 核函数优化,实现了推理吞吐与延迟的显著提升。论文详细介绍了推理系统与模型部署的协同设计思路,以及大规模部署下的工程挑战与解决方案。
核心要点:
- 引入连续批处理策略,大幅提升 GPU 利用率
- 创新 KV Cache 调度机制,降低内存碎片
- 针对主流模型结构进行 CUDA 核函数级别优化
- 在 Alibaba 内部多个产品规模验证,吞吐量达 SOTA
2. Rotary GPU:受限显存下大规模 MoE 模型的本地执行路径探索
来源:cs.AR
链接:https://arxiv.org/abs/2605.29135
标签:MoE模型 · 显存受限 · 专家卸载 · CPU-GPU协同 · 推理优化
在 GPU 显存不足时如何高效运行大规模 MoE(混合专家)模型?本文提出 Rotary GPU 系统,通过将专家权重动态卸载到 CPU 内存,并结合预取策略和调度算法,在有限显存约束下实现高吞吐推理。该工作对部署如 Mixtral、DeepSeek-MoE 等大型 MoE 模型具有重要实践意义。
核心要点:
- 提出专家权重的 CPU 卸载与 GPU 执行的协同调度框架
- 通过预取机制隐藏 CPU→GPU 传输延迟
- 在消费级 GPU 上运行超出显存容量的 MoE 模型
- 与 offloading 基线相比吞吐提升显著
3. 灾难性遗忘的机理起源:为什么 RL 比 SFT 更好地保留了电路结构?
来源:cs.LG
链接:https://arxiv.org/abs/2605.28860
标签:灾难性遗忘 · 电路分析 · RL微调 · SFT · 机理可解释性
为什么强化学习微调(RLHF)比监督微调(SFT)更少出现灾难性遗忘?本文从电路机理分析角度探究这一现象的根本原因,发现 RL 训练目标倾向于保留 transformer 内部的功能电路,而 SFT 更容易破坏原有计算路径。该发现对设计更稳定的大模型微调策略有重要指导意义。
核心要点:
- 从 transformer 内部计算电路视角分析两类微调方法
- 发现 RL 目标函数天然具有保留功能电路的归纳偏置
- SFT 对 MLP 权重的直接修改更易破坏已有知识回路
- 为设计低遗忘微调策略提供了机理层面的理论依据
4. LoRA 适配器的特征几何:用稀疏自编码器分析微调中的表示偏移
来源:cs.LG
链接:https://arxiv.org/abs/2605.28896
标签:LoRA · 稀疏自编码器 · 表示学习 · 特征几何 · 微调分析
LoRA 微调内部究竟改变了什么?本文使用稀疏自编码器(SAE)对 LoRA 适配器引起的特征空间变化进行系统分析,揭示了微调前后表示空间的几何差异。研究发现特定语义特征在 LoRA 微调后发生显著偏移,为理解参数高效微调的工作机理提供了新的视角。
核心要点:
- 利用稀疏自编码器将表示空间分解为可解释特征
- 量化 LoRA 微调前后各层特征的几何偏移程度
- 发现特定任务相关特征在微调后激活模式显著改变
- 为选择 LoRA rank 和目标层提供了可解释性依据
5. 上下文蒸馏作为潜在记忆管理
来源:cs.LG
链接:https://arxiv.org/abs/2605.28889
标签:上下文蒸馏 · 知识蒸馏 · 潜在记忆 · 参数压缩 · 长上下文
上下文蒸馏将长上下文压缩进模型参数,但多个蒸馏记忆之间如何交互往往被忽视。本文提出将蒸馏后的潜在表示视为结构化记忆进行管理,支持高效的组合、检索与更新操作。该框架为大模型处理超长上下文和持续学习提供了新的技术路径。
核心要点:
- 将上下文蒸馏重新框架化为结构化潜在记忆管理问题
- 提出多蒸馏记忆的组合与冲突解决机制
- 在长文档问答和持续学习任务上验证有效性
- 相比直接 in-context 方法减少推理时 KV Cache 开销
6. elasticAI.explorer:面向硬件感知神经网络架构搜索的统一端到端框架
来源:cs.AR
链接:https://arxiv.org/abs/2605.30019
标签:神经架构搜索 · 硬件感知 · NAS · 边缘部署 · 自动化设计
elasticAI.explorer 提出统一的端到端硬件感知神经架构搜索(NAS)框架,在模型精度与部署效率之间进行联合优化。系统支持多种硬件目标(FPGA、微控制器、移动端 GPU),并将硬件延迟/功耗约束直接融入搜索过程,为边缘 AI 部署的自动化设计提供完整工具链。
核心要点:
- 统一抽象层支持 FPGA、MCU、移动 GPU 等多硬件后端
- 将硬件延迟和能耗约束作为 NAS 搜索目标
- 端到端流程涵盖搜索、训练、量化与部署
- 在多个边缘硬件上验证 Pareto 最优的精度-效率权衡
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | RTP-LLM:阿里巴巴高性能大语言模型推理引擎 | cs.OS | LLM推理 |
| 2 | Rotary GPU:受限显存下大规模 MoE 模型的本地执 | cs.AR | MoE模型 |
| 3 | 灾难性遗忘的机理起源:为什么 RL 比 SFT 更好地保留了 | cs.LG | 灾难性遗忘 |
| 4 | LoRA 适配器的特征几何:用稀疏自编码器分析微调中的表示偏 | cs.LG | LoRA |
| 5 | 上下文蒸馏作为潜在记忆管理 | cs.LG | 上下文蒸馏 |
| 6 | elasticAI.explorer:面向硬件感知神经网络架 | cs.AR | 神经架构搜索 |
自动生成 · 2026-05-30 · jeffinchen daily tech reading list
评论