← Reading List
📰 技术速递

MoE微调 · 量化推理 · 投机解码 · 弹性训练 · KV缓存 · 边缘推理

Tech多源前沿

📰 2026-05-21 · 每日技术速递

今日精选 9 篇深度技术文章,覆盖 MoE 参数高效微调、LLM 量化推理优化、投机解码加速、弹性分布式训练、NVLink-C2C 服务化、KV Cache 管理、Apple Silicon GPU 推理。


1. HELLoRA:面向 MoE 模型的 Hot Expert 层级 LoRA 微调

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.18795
标签:MoE · LoRA · 参数高效微调 · 大语言模型 · 专家路由

现有 LoRA 变体主要针对密集架构设计,对 MoE 模型的专家稀疏激活特性适配不足。HELLoRA 提出按”热门专家”(高频激活专家)分层分配 LoRA rank,在预算相同的情况下将微调资源集中于实际影响推理的专家层,有效提升参数利用效率。

核心要点:

  • 基于专家激活频率动态分配不同层的 LoRA rank,避免对冷专家浪费参数
  • 层级感知策略(Layer-Level)精准定位 MoE 模型中的信息瓶颈层
  • 与标准 LoRA 相比,在相同参数量下显著降低微调损失,提升下游任务表现
  • 兼容主流 MoE 架构(Mixtral 等),无需修改路由机制

2. Theory-optimal Quantization Based on Flatness:基于平坦性的理论最优量化

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.18800
标签:量化 · PTQ · 推理加速 · 模型压缩 · 平坦性

后训练量化(PTQ)是压缩和加速 LLM 推理的主流方案,但现有方法缺乏对最优量化点选取的理论保证。本文从损失曲面平坦性出发,推导出理论最优量化精度分配策略,在保持模型精度的前提下最大化量化压缩比。

核心要点:

  • 建立量化误差与损失曲面平坦性的理论关联,给出最优量化粒度选取准则
  • 平坦区域允许更激进的低比特量化(如 3-bit),尖锐区域保留高精度
  • 在多个主流 LLM(LLaMA 系列)上实现 SOTA 精度-压缩权衡
  • 方法可插拔,兼容 GPTQ、AWQ 等现有量化框架

3. D-PACE:面向并行投机草稿生成的动态位置感知交叉熵

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.18810
标签:投机解码 · LLM 推理加速 · 并行草稿 · 扩散模型 · Token 生成

投机解码通过小模型草稿 + 大模型并行验证加速 LLM 推理,近期扩散式草稿模型(Diffusion-based drafter)可一次生成整块草稿序列。D-PACE 针对并行草稿训练中的位置偏差问题,提出动态位置感知的交叉熵损失,显著提升草稿接受率。

核心要点:

  • 识别并行草稿训练中的”位置无关性”缺陷:标准 CE 损失忽视 token 在草稿序列中的位置信息
  • 动态权重分配:序列后段 token 的损失权重随训练动态调整,减少位置偏差
  • 在多个基准上将草稿接受率提升 5-15%,等效提升端到端吞吐量
  • 与现有扩散式草稿模型(如 EAGLE、Medusa)正交可组合

4. DynaTrain:弹性 LLM 训练的在线并行策略快速切换

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.18815
标签:分布式训练 · 弹性计算 · LLM 训练 · 并行策略 · RLHF

大规模 LLM 训练面临资源波动(节点故障、RLHF 阶段切换、集群弹性)导致并行策略需要频繁重新配置的挑战。DynaTrain 实现毫秒级在线并行策略切换(TP/PP/DP),无需停止训练或重新初始化,显著减少因策略变更带来的空闲时间。

核心要点:

  • 提出无中断并行策略迁移机制,支持 Tensor/Pipeline/Data Parallel 组合的动态切换
  • 针对 RLHF 阶段(SFT→RM→PPO)的策略差异,实现阶段间自动重配置
  • 实验显示相比重启式重配置,训练效率提升 20-40%
  • 与 Megatron-LM、DeepSpeed 等主流框架兼容

5. Hybrid-LoRA:融合全量微调与低秩适配的后训练方法

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.18822
标签:LoRA · 全量微调 · 指令微调 · 偏好对齐 · 后训练

LoRA 参数效率高但表达能力受限,全量微调性能强但成本高昂。Hybrid-LoRA 在同一框架内动态混合两种策略:对高重要性层使用全量微调,其余层用 LoRA,兼得两者优势,尤其适合指令跟随和偏好对齐(RLHF)后训练场景。

核心要点:

  • 层重要性评估模块自动识别哪些层对下游任务影响最大
  • 高重要性层全量微调 + 其余层 LoRA,参数量介于纯 LoRA 和全量微调之间
  • 在指令跟随、代码生成、数学推理等多任务上超越 LoRA 系列方法
  • 与 QLoRA 结合可进一步降低显存占用

来源:arXiv cs.OS
链接:https://arxiv.org/abs/2605.19481
标签:LLM serving · NVLink-C2C · MIG · 无服务器 · GPU 资源管理

现代 LLM 服务面临大规模模型目录、长尾调用、多租户需求等挑战,现有 GPU serving 系统资源利用率低。C2CServe 利用 NVIDIA NVLink-C2C 高带宽互联和 MIG(Multi-Instance GPU)分区技术,实现按需弹性分配 GPU 资源的无服务器 LLM 推理架构。

核心要点:

  • NVLink-C2C 提供 CPU-GPU 间 900 GB/s 带宽,支持模型权重按需流式加载
  • MIG 分区允许单 GPU 同时服务多个规模不同的模型实例
  • 冷启动延迟降低至秒级,相比传统 serverless GPU 方案提升 10x
  • 实验在 H100/GH200 架构上验证,适合多模型共享 GPU 的生产部署

7. SpecSA:融合投机解码与稀疏注意力的高效长上下文 LLM 推理

来源:arXiv cs.OS
链接:https://arxiv.org/abs/2605.19893
标签:投机解码 · 稀疏注意力 · 长上下文推理 · LLM 加速 · KV Cache

投机解码和动态稀疏注意力是加速长上下文 LLM 推理的两大互补方向,但此前从未被系统性地结合。SpecSA 设计统一框架,让草稿模型生成时即预测稀疏注意力模式,验证阶段直接复用,同时加速 prefill 和 decode。

核心要点:

  • 草稿模型在生成 token 的同时预测目标模型的稀疏注意力掩码,消除重复计算
  • 联合优化接受率(speculative decoding)和稀疏度(sparse attention),端到端收益叠加
  • 在 128K 长上下文场景下吞吐量提升 2-3x,延迟降低 40%+
  • 与 FlashAttention、PagedAttention 等底层优化兼容

8. PiKV:面向 MoE 大模型的 KV Cache 管理系统

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2508.06526
标签:KV Cache · MoE · 内存管理 · LLM 推理 · 分布式系统

随着 LLM 规模和上下文长度增长,MoE 模型的 KV Cache 内存和通信开销成为推理瓶颈。PiKV 专为 MoE 架构设计 KV Cache 管理系统,通过专家感知的缓存分配和跨设备通信优化,在保持精度的前提下大幅降低内存峰值。

核心要点:

  • 专家感知 KV 分配:根据专家激活频率动态调整各专家的 KV Cache 配额
  • 跨设备 KV 通信优化:减少 MoE 专家间 KV 传输的冗余数据量
  • 支持超长上下文(128K+)下的 MoE 模型推理,内存占用降低 30-50%
  • 与 vLLM、SGLang 等推理框架集成,对上层应用透明

9. ExecuTorch MLX Delegate:在 Apple Silicon GPU 上运行 PyTorch 模型

来源:PyTorch Blog
链接:https://pytorch.org/blog/running-pytorch-models-on-apple-silicon-gpus-with-the-executorch-mlx-delegate/
标签:ExecuTorch · Apple Silicon · MLX · 边缘推理 · GPU 加速

ExecuTorch 新增 MLX Delegate,让 PyTorch 模型可以在 Apple Silicon(M 系列)Mac 的 GPU 上实现优化加速推理。借助 Apple 的 MLX 框架,开发者无需手动转换即可将 PyTorch 模型部署到 Mac GPU,统一端到端 edge deployment 流程。

核心要点:

  • MLX Delegate 自动将 PyTorch 算子映射到 MLX GPU 原语,利用 Apple Unified Memory 架构
  • 支持 LLM、视觉模型等主流架构,推理速度相比 CPU 提升 3-5x
  • 与 ExecuTorch 的跨平台 export 流程无缝集成(iOS/Android/macOS 统一部署)
  • 为 Apple Silicon 上的本地 AI 推理提供官方支持路径,无需云端依赖

📊 今日速览

# 标题摘要 来源 方向
1 HELLoRA:MoE Hot Expert 层级 LoRA arXiv cs.LG MoE 微调
2 Theory-optimal Quantization Based on Flatness arXiv cs.LG 量化压缩
3 D-PACE:并行投机草稿动态位置感知 CE arXiv cs.LG 推理加速
4 DynaTrain:弹性 LLM 训练并行策略切换 arXiv cs.LG 分布式训练
5 Hybrid-LoRA:全量微调与 LoRA 融合 arXiv cs.LG 后训练
6 C2CServe:NVLink-C2C 弹性无服务器推理 arXiv cs.OS LLM serving
7 SpecSA:投机解码 + 稀疏注意力统一 arXiv cs.OS 长上下文推理
8 PiKV:MoE KV Cache 管理系统 arXiv cs.AR 内存管理
9 ExecuTorch MLX Delegate for Apple Silicon PyTorch 边缘推理

自动生成 · 2026-05-21 · jeffinchen daily tech reading list

评论