今日精选 6 篇深度技术文章,覆盖 参数高效微调 · 推理加速 · 低精度量化 · 推理服务 · 知识蒸馏 · GPU编译器。
1. 将 LoRA 视作模型的知识记忆:一项实证分析
来源:cs.LG 链接:https://arxiv.org/abs/2603.01097 标签:LoRA · 知识记忆 · 持续学习 · 参数高效微调 · LLM
论文将 LoRA 适配器视为预训练大模型的知识记忆载体,系统实证了其在持续知识更新场景下的行为。相比推理期的 ICL 与 RAG 受限于上下文预算、检索成本与延迟,参数化的 LoRA 记忆提供了一种更紧凑、可组合的更新路径,研究量化了不同更新策略下的记忆容量与遗忘特性。
核心要点:
- 将 LoRA 适配器形式化为可增量的『知识记忆』,区别于上下文注入式方法
- 实证比较 LoRA 与 ICL/RAG 在持续知识更新中的容量、成本与遗忘权衡
- 为参数高效、低延迟的大模型知识更新给出实践指导
2. AngelSpec:面向真实负载的高性能投机解码推理
来源:cs.CL 链接:https://arxiv.org/abs/2607.25852 标签:投机解码 · 推理加速 · MTP · 扩散草稿 · LLM Serving
投机解码可在不改变目标分布的前提下加速 LLM 推理,但单一草稿结构难以适配多样的真实负载。AngelSpec 提出结合自回归多令牌预测(MTP)作为轻量稳定提案器,与块并行扩散草稿互补,按负载动态选择草稿策略,在真实场景中取得稳定且显著的加速。
核心要点:
- 指出单一草稿结构无法在所有真实负载上最优的工程痛点
- 融合 MTP 与块并行扩散草稿,按负载自适应调度
- 在真实推理服务中实现高且稳定的加速比
3. HiFloat4:面向 LLM 强化学习后训练的端到端 4-bit 格式
来源:cs.LG 链接:https://arxiv.org/abs/2607.26515 标签:FP4量化 · 强化学习后训练 · 低精度训练 · 推理策略 · 4-bit
论文提出首个端到端 FP4 强化学习后训练方案,rollout 与训练策略(含前向与反向)均以 4-bit 精度运行。系统研究表明,FP4 RL 退化的主因并非训练侧量化误差,而是推理侧 rollout 策略的量化失真,据此给出对应的精度分配与校准策略。
核心要点:
- 首个端到端 FP4 RL 后训练,前向/反向/rollout 全 4-bit
- 定位退化主因在推理侧 rollout 而非训练侧量化
- 为低精度 RL 后训练的可行性提供实证与改进方向
4. InferScale:面向个性化 LLM 服务的 GPU 原生 KV 注入
来源:cs.LG 链接:https://arxiv.org/abs/2607.27090 标签:KV Cache · 个性化服务 · GPU内存 · 长上下文 · LLM Serving
InferScale 针对带有持久个性化上下文(如累积记忆画像、长对话历史)的 LLM 部署,提出 GPU 原生 KV 注入机制。生产级记忆系统(Mem0、MemGPT、Zep 等)检索出的相关记忆以 KV 形式直接在 GPU 侧注入,避免重复计算与主机-设备搬运开销,显著降低个性化服务的延迟与成本。
核心要点:
- 将个性化记忆以 KV 形式在 GPU 原生注入,跳过重复 prefill
- 对接 Mem0/MemGPT/Zep 等生产记忆系统的检索结果
- 降低长上下文个性化服务的延迟与显存搬运成本
5. REGEN:基于离线强化学习的专家到通才蒸馏回放复用
来源:cs.LG 链接:https://arxiv.org/abs/2607.19450 标签:知识蒸馏 · 离线强化学习 · 专家模型 · 通才模型 · 推理能力
REGEN 针对大规模在线 RL 在跨领域扩展时面临的计算与数据挑战,提出专家到通才的蒸馏框架。通过回放复用(replay-recycling)机制,将专家模型在各自领域的离线 RL 轨迹高效迁移到通才模型,在降低训练成本的同时保留长程推理与智能体工具调用等高级能力。
核心要点:
- 以离线 RL 轨迹实现专家→通才的高效知识蒸馏
- 回放复用机制降低跨领域扩展的计算与数据开销
- 在压缩训练成本的同时保留推理与工具调用能力
6. FBTriton 基础设施:上游摄取、分层验证与理想现实之差
来源:PyTorch 链接:https://pytorch.org/blog/fbtriton-infra-upstream-ingestion-hierarchical-validation-ideals-vs-realities/ 标签:Triton · GPU编译器 · 自定义算子 · 分层验证 · Meta
文章揭秘 Meta 的 FBTriton 基础设施如何支撑 TLX、autoWS 等自定义 GPU 编译器创新,同时与上游 Triton 保持同步。其采用代理式(agentic)上游摄取与 L1/L2/L3 分层验证框架,在『理想流程』与工程现实之间建立可落地的质量保障,为大规模自定义算子开发提供范本。
核心要点:
- FBTriton 支撑 TLX、autoWS 等自定义 GPU 编译器创新
- 代理式上游摄取 + L1/L2/L3 分层验证保障质量
- 揭示大规模 Triton 算子开发的工程现实与取舍
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | 将 LoRA 视作模型的知识记忆:一项实证分析 | cs.LG | 参数高效微调 |
| 2 | AngelSpec:面向真实负载的高性能投机解码推理 | cs.CL | 推理加速 |
| 3 | HiFloat4:面向 LLM 强化学习后训练的端到端 4-bit 格式 | cs.LG | 低精度量化 |
| 4 | InferScale:面向个性化 LLM 服务的 GPU 原生 KV 注入 | cs.LG | 推理服务 |
| 5 | REGEN:基于离线强化学习的专家到通才蒸馏回放复用 | cs.LG | 知识蒸馏 |
| 6 | FBTriton 基础设施:上游摄取、分层验证与理想现实之差 | PyTorch | GPU编译器 |
自动生成 · 2026-07-31 · jeffinchen daily tech reading list
评论