← Reading List
📰 技术速递

LLM量化推理 · 流匹配语言模型 · MoE持续学习 · CXL内存 · 安全容器 · 视频生成LoRA

Tech多源前沿

📰 2026-05-22 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 LLM量化推理、流匹配语言模型、MoE持续学习、CXL分层内存管理、安全容器、视频生成LoRA微调。


1. Mix-Quant: 面向 Agentic LLM 的混合量化推理加速方案

来源:cs.CL / arXiv
链接:https://arxiv.org/abs/2605.20315
标签:LLM量化 · 推理加速 · Prefilling · Agentic · 混合精度

Mix-Quant 针对 Agentic LLM 场景(规划、工具调用、多步推理)提出分阶段混合量化策略:Prefill 阶段采用激进量化大幅降低 KV Cache 读写开销,Decode 阶段恢复高精度保证输出质量。该方案在不损失生成精度的前提下显著提升长上下文 Agent 任务的端到端吞吐,解决了均匀量化在 agentic 场景下精度与速度的两难困境。

核心要点:

  • Prefilling 阶段低比特量化,Decoding 阶段 FP16/BF16,兼顾速度与精度
  • 专为长上下文 Agent 场景优化,减少内存带宽瓶颈
  • 在主流 Agent Benchmark 上验证吞吐提升,generation 质量无明显回退

2. FlowLM: 基于扩散模型蒸馏的少步语言建模

来源:cs.CL / arXiv
链接:https://arxiv.org/abs/2605.20199
标签:流匹配 · 扩散语言模型 · 高效训练 · 少步生成 · Fine-tuning

FlowLM 将预训练扩散语言模型通过高效 Fine-tuning 转化为流匹配语言模型,重对齐噪声分布以适配 ODE 轨迹,仅需极少微调步骤即可实现更少采样步骤、更高生成质量的文本输出。该工作展示了从 Diffusion 迁移到 Flow Matching 的低成本路径,对大规模语言模型快速部署具有重要工程价值。

核心要点:

  • 将预训练扩散 LM 转换为 Flow Matching LM,避免从头训练的高成本
  • 采样步骤大幅减少(few-step generation),推理延迟显著降低
  • 文本质量 benchmark 超越原扩散基线,为扩散式 LLM 提速开辟新思路

3. CP-MoE: 基于 Mixture-of-Experts 的 LLM 持续学习一致性保持

来源:cs.LG / arXiv
链接:https://arxiv.org/abs/2605.20247
标签:MoE · 持续学习 · 灾难性遗忘 · LLM训练 · 专家路由

CP-MoE 针对大语言模型和视觉语言模型的持续学习场景,提出一致性保持的 MoE 框架。通过专家路由约束和知识蒸馏机制有效缓解灾难性遗忘,新旧任务专家通过一致性损失保持知识协同,无需重播旧数据,在多个持续学习基准上显著优于当前 SOTA。

核心要点:

  • MoE 路由器添加一致性约束,防止旧任务专家权重被新任务覆盖
  • 知识蒸馏辅助训练,无需重播旧数据即可缓解灾难性遗忘
  • 同时支持 LLM 和 VLM 持续学习,多 benchmark 达到新 SOTA

4. Clove: 面向 CXL 分层内存的对象级托管运行时管理

来源:cs.OS / arXiv
链接:https://arxiv.org/abs/2605.20370
标签:CXL内存 · 分层内存 · 对象级管理 · 托管运行时 · OS内核

随着 CXL 扩展内存逐步商用,现有基于页的分层内存管理无法充分利用对象访问局部性。Clove 提出在托管语言运行时(JVM 等)中实现对象级 CXL 内存管理,通过运行时感知的对象热度追踪和跨层迁移策略,在实际工作负载中显著提升内存带宽利用率并降低 GC 压力。

核心要点:

  • 对象级(而非页级)CXL 内存管理,更精准匹配访问热度
  • 与 JVM 等托管运行时深度集成,GC 感知的跨层对象迁移
  • 内存密集型 Java 应用上,带宽利用率和延迟均优于页级基线

5. ParaCell: 轻量级内核隔离的半虚拟化安全容器

来源:cs.OS / arXiv
链接:https://arxiv.org/abs/2605.20906
标签:安全容器 · 半虚拟化 · 内核隔离 · 容器安全 · 意图驱动策略

安全容器(如 gVisor、Kata)为每个容器提供独立内核但开销大。ParaCell 通过半虚拟化技术在同一内核内实现轻量级容器间隔离,结合意图驱动的系统调用策略自动推断并最小化攻击面,在保持接近裸金属性能的同时提供与独立内核方案相当的安全边界。

核心要点:

  • 半虚拟化 + 轻量级内核内隔离,避免完整内核副本的高内存和启动开销
  • 意图驱动策略自动为每个容器生成最小 syscall 白名单,缩小攻击面
  • 性能接近 runc 裸容器,安全性媲美 gVisor/Kata 方案

6. NVIDIA Cosmos Predict 2.5 LoRA/DoRA 微调: 机器人视频生成实战

来源:HuggingFace Blog
链接:https://huggingface.co/blog/nvidia/cosmos-fine-tuning-for-robot-video-generation
标签:视频生成 · LoRA · DoRA · 机器人学 · NVIDIA Cosmos · 参数高效微调

NVIDIA Cosmos Predict 2.5 是面向物理世界仿真的大型视频生成模型。本文详述如何用 LoRA 和 DoRA(权重分解 LoRA)进行参数高效微调,专为机器人操作视频生成任务定制,涵盖数据准备、秩选择、训练配置全流程,并在 HuggingFace 平台上提供可复现的代码与权重。

核心要点:

  • LoRA/DoRA 参数高效微调 Cosmos 视频模型,显著降低显存和训练成本
  • 面向机器人操作场景定制,视频物理一致性优于 prompt-only 方案
  • 完整开源训练代码与权重,结合 HuggingFace Transformers 生态易于复现

📊 今日速览

# 标题摘要 来源 方向
1 Mix-Quant: 面向 Agentic LLM 的混合量 cs.CL / arXiv LLM量化推理
2 FlowLM: 基于扩散模型蒸馏的少步语言建模 cs.CL / arXiv 语言模型高效训练
3 CP-MoE: 基于 Mixture-of-Experts cs.LG / arXiv 分布式训练/MoE
4 Clove: 面向 CXL 分层内存的对象级托管运行时管理 cs.OS / arXiv OS/内存系统
5 ParaCell: 轻量级内核隔离的半虚拟化安全容器 cs.OS / arXiv 系统安全/容器
6 NVIDIA Cosmos Predict 2.5 LoRA HuggingFace Blog 视频生成/参数高效微调

自动生成 · 2026-05-22 · jeffinchen daily tech reading list

评论