← Reading List
📰 技术速递

LLM推理引擎 · MoE显存优化 · RL vs SFT遗忘机理 · LoRA特征几何 · 上下文蒸馏 · 硬件感知NAS

Tech多源前沿

📰 2026-05-30 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 LLM推理引擎、MoE显存优化、RL/SFT遗忘机理、LoRA特征分析、上下文蒸馏、硬件感知NAS。


1. RTP-LLM:阿里巴巴高性能大语言模型推理引擎

来源:cs.OS
链接:https://arxiv.org/abs/2605.29639
标签:LLM推理 · KV Cache · 连续批处理 · CUDA优化 · 推理系统

阿里巴巴提出 RTP-LLM,一个面向生产环境的高性能 LLM 推理引擎。系统通过连续批处理(Continuous Batching)、精细化 KV Cache 管理与 CUDA 核函数优化,实现了推理吞吐与延迟的显著提升。论文详细介绍了推理系统与模型部署的协同设计思路,以及大规模部署下的工程挑战与解决方案。

核心要点:

  • 引入连续批处理策略,大幅提升 GPU 利用率
  • 创新 KV Cache 调度机制,降低内存碎片
  • 针对主流模型结构进行 CUDA 核函数级别优化
  • 在 Alibaba 内部多个产品规模验证,吞吐量达 SOTA

2. Rotary GPU:受限显存下大规模 MoE 模型的本地执行路径探索

来源:cs.AR
链接:https://arxiv.org/abs/2605.29135
标签:MoE模型 · 显存受限 · 专家卸载 · CPU-GPU协同 · 推理优化

在 GPU 显存不足时如何高效运行大规模 MoE(混合专家)模型?本文提出 Rotary GPU 系统,通过将专家权重动态卸载到 CPU 内存,并结合预取策略和调度算法,在有限显存约束下实现高吞吐推理。该工作对部署如 Mixtral、DeepSeek-MoE 等大型 MoE 模型具有重要实践意义。

核心要点:

  • 提出专家权重的 CPU 卸载与 GPU 执行的协同调度框架
  • 通过预取机制隐藏 CPU→GPU 传输延迟
  • 在消费级 GPU 上运行超出显存容量的 MoE 模型
  • 与 offloading 基线相比吞吐提升显著

3. 灾难性遗忘的机理起源:为什么 RL 比 SFT 更好地保留了电路结构?

来源:cs.LG
链接:https://arxiv.org/abs/2605.28860
标签:灾难性遗忘 · 电路分析 · RL微调 · SFT · 机理可解释性

为什么强化学习微调(RLHF)比监督微调(SFT)更少出现灾难性遗忘?本文从电路机理分析角度探究这一现象的根本原因,发现 RL 训练目标倾向于保留 transformer 内部的功能电路,而 SFT 更容易破坏原有计算路径。该发现对设计更稳定的大模型微调策略有重要指导意义。

核心要点:

  • 从 transformer 内部计算电路视角分析两类微调方法
  • 发现 RL 目标函数天然具有保留功能电路的归纳偏置
  • SFT 对 MLP 权重的直接修改更易破坏已有知识回路
  • 为设计低遗忘微调策略提供了机理层面的理论依据

4. LoRA 适配器的特征几何:用稀疏自编码器分析微调中的表示偏移

来源:cs.LG
链接:https://arxiv.org/abs/2605.28896
标签:LoRA · 稀疏自编码器 · 表示学习 · 特征几何 · 微调分析

LoRA 微调内部究竟改变了什么?本文使用稀疏自编码器(SAE)对 LoRA 适配器引起的特征空间变化进行系统分析,揭示了微调前后表示空间的几何差异。研究发现特定语义特征在 LoRA 微调后发生显著偏移,为理解参数高效微调的工作机理提供了新的视角。

核心要点:

  • 利用稀疏自编码器将表示空间分解为可解释特征
  • 量化 LoRA 微调前后各层特征的几何偏移程度
  • 发现特定任务相关特征在微调后激活模式显著改变
  • 为选择 LoRA rank 和目标层提供了可解释性依据

5. 上下文蒸馏作为潜在记忆管理

来源:cs.LG
链接:https://arxiv.org/abs/2605.28889
标签:上下文蒸馏 · 知识蒸馏 · 潜在记忆 · 参数压缩 · 长上下文

上下文蒸馏将长上下文压缩进模型参数,但多个蒸馏记忆之间如何交互往往被忽视。本文提出将蒸馏后的潜在表示视为结构化记忆进行管理,支持高效的组合、检索与更新操作。该框架为大模型处理超长上下文和持续学习提供了新的技术路径。

核心要点:

  • 将上下文蒸馏重新框架化为结构化潜在记忆管理问题
  • 提出多蒸馏记忆的组合与冲突解决机制
  • 在长文档问答和持续学习任务上验证有效性
  • 相比直接 in-context 方法减少推理时 KV Cache 开销

6. elasticAI.explorer:面向硬件感知神经网络架构搜索的统一端到端框架

来源:cs.AR
链接:https://arxiv.org/abs/2605.30019
标签:神经架构搜索 · 硬件感知 · NAS · 边缘部署 · 自动化设计

elasticAI.explorer 提出统一的端到端硬件感知神经架构搜索(NAS)框架,在模型精度与部署效率之间进行联合优化。系统支持多种硬件目标(FPGA、微控制器、移动端 GPU),并将硬件延迟/功耗约束直接融入搜索过程,为边缘 AI 部署的自动化设计提供完整工具链。

核心要点:

  • 统一抽象层支持 FPGA、MCU、移动 GPU 等多硬件后端
  • 将硬件延迟和能耗约束作为 NAS 搜索目标
  • 端到端流程涵盖搜索、训练、量化与部署
  • 在多个边缘硬件上验证 Pareto 最优的精度-效率权衡

📊 今日速览

# 标题摘要 来源 方向
1 RTP-LLM:阿里巴巴高性能大语言模型推理引擎 cs.OS LLM推理
2 Rotary GPU:受限显存下大规模 MoE 模型的本地执 cs.AR MoE模型
3 灾难性遗忘的机理起源:为什么 RL 比 SFT 更好地保留了 cs.LG 灾难性遗忘
4 LoRA 适配器的特征几何:用稀疏自编码器分析微调中的表示偏 cs.LG LoRA
5 上下文蒸馏作为潜在记忆管理 cs.LG 上下文蒸馏
6 elasticAI.explorer:面向硬件感知神经网络架 cs.AR 神经架构搜索

自动生成 · 2026-05-30 · jeffinchen daily tech reading list

评论