📰 2026-05-15 · 每日技术速递
今日精选 5 篇深度技术文章,覆盖 LLM 蒸馏训练、模型并行协作推理、LLM 推理吞吐优化、近内存 Ising 计算架构、CHERI 内存时序安全。
1. 多轨迹在线蒸馏:利用成功与失败的对等样本提升学生模型
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.12652
标签:LLM蒸馏 · 在线蒸馏 · 强化学习 · 推理训练 · 多轨迹采样
现有的在线蒸馏(On-Policy Distillation)方法通常独立处理每条采样轨迹,忽略同一 prompt 下其他尝试的信息。MOPD(Multi-Rollout On-Policy Distillation)提出基于对等轨迹的条件蒸馏框架:将同组内成功的轨迹作为正例为教师提供有效推理模式的证据,将失败轨迹作为负例提示教师哪些推理路径容易出错。在竞程、数学推理、科学问答和工具调用等多个 benchmark 上,MOPD 持续超越标准在线基线。
核心要点:
- 成功轨迹提供有效推理模式的正向信号,失败轨迹提供结构化负向信号
- 教师信号分析表明混合成功/失败上下文能更好地对齐验证器奖励
- 适用于 LLM 后训练,改善稀疏奖励下教师信号的密度和信息量
- 在竞程编程、数学、工具调用等多任务上均取得一致性提升
2. 双室模型:并行语言模型间的双向隐状态耦合
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.11167
标签:LLM协作推理 · 隐状态通信 · 工具调用 · 模型架构 · 多模型系统
现有多模型协作通过文本序列化通信,每次交互都要走词汇表输出层。Bicameral Model 提出一种全新协作范式:两个冻结的预训练 LM 通过可训练的神经接口在隐状态层实时交互,主模型驱动任务生成,辅助模型同步操控工具或执行代码,二者通过翻译网络和可学习抑制门互相感知激活。两个 0.5B 模型耦合计算器后算术准确率从 36% 提升至 96%,耦合 Z3 求解器后逻辑谜题性能为未增强基线的 1.7 倍。
核心要点:
- 完全绕过词汇表层,直接在中间隐状态层建立连续通信通道
- 可学习抑制门仅需约 1% 参数量,从任务损失自动学习通信协议
- 辅助模型能从隐状态信号生成任务专属代码,无需看到原始问题文本
- 为 LLM-工具联合推理提供了全新的架构级解决思路
3. 异步连续批处理:解耦 CPU/GPU 工作负载实现推理全速运转
来源:HuggingFace Blog
链接:https://huggingface.co/blog/continuous_async
标签:LLM推理 · 连续批处理 · 吞吐优化 · GPU利用率 · 推理服务
同步连续批处理中 CPU 和 GPU 交替等待,在每秒运行数百步的循环中,空闲间隙累积为显著的吞吐损失。实测表明在 batch size=32、8B 模型生成 8K token 的场景下,CPU 等待可占总运行时近 1/4。异步批处理将 CPU 批次准备与 GPU 前向计算完全解耦,两者并行运行,确保 GPU 始终保持满负荷计算。本文为连续批处理系列第二篇,详述异步化的工程实现与性能收益。
核心要点:
- 同步方式导致 CPU 与 GPU 轮流空转,浪费近 25% 计算时间
- 异步方案使 CPU batch 调度与 GPU forward pass 完全并行化
- 消除空闲间隙后 GPU 利用率可接近 100%,大幅提升推理服务吞吐
- 对 KV cache 管理和请求调度机制有较大架构影响
4. SACHI:复用 L1 Cache 的全数字近内存 Ising 机器
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.12959
标签:处理器内计算 · Ising机器 · SRAM · 近内存计算 · 组合优化加速
Ising 机器是求解 NP 难组合优化问题的重要方向,但现有方案通常依赖专用 ADC/DAC 电路或易受工艺变动影响的嵌入式存储。SACHI 通过改造 CPU L1 Cache,利用 SRAM 内处理技术实现全数字 Ising 加速,无需 ADC/DAC,与 CPU 流水线紧密集成。对比 BRIM 基线,SACHI 实现 300x 性能提升和 80x 能效提升,部分工作负载的复用因子高达 4000x,可应用于资产配置、分子动力学、图像分割、旅行商问题等场景。
核心要点:
- 复用现有 L1 Cache 硬件,以极小面积开销集成进 CPU 流水线
- 全数字设计消除 ADC/DAC,比模拟/混合信号方案可靠性更高
- 复用感知计算(Reuse-Aware)提供高达 4000x 的数据复用率
- 相比 BRIM:300x 性能、80x 能效,支持大规模高精度优化问题
5. PoisonCap:面向 CHERI 的高效分层时序内存安全
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.13210
标签:内存安全 · CHERI · Use-After-Free · 能力架构 · 时序安全
CHERI 提供空间内存安全,但现有时序安全方案(Cornucopia Reloaded)仅提供 use-after-reallocation 保护而非更强的 use-after-free 保护,也无法强制初始化安全。PoisonCap 引入新的”poison”能力格式,通过能力边界委托内存 poison 权限,允许嵌套分配器在不影响上层分配器的情况下对消费者强制安全策略。可替换 Cornucopia 影子位图,自动在重分配时清零内存,对可读前写访问可选择性 trap,相对 Cornucopia 基线无基本性能开销。
核心要点:
- 引入 poison 能力格式,实现严格 use-after-free 和初始化安全
- 能力边界委托机制支持嵌套分配器安全隔离,无需修改上层分配器
- 同时向微架构传递内存状态,支持高效的隔离内存 Cache 管理
- 相比 Cornucopia Reloaded 功能更强,且无基本性能开销
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | 多轨迹在线蒸馏 MOPD | arXiv cs.LG | LLM 蒸馏训练 |
| 2 | 双室模型隐状态耦合 | arXiv cs.CL | 模型协作推理架构 |
| 3 | 异步连续批处理推理优化 | HuggingFace | 推理吞吐提升 |
| 4 | SACHI 近内存 Ising 机器 | arXiv cs.AR | 近内存计算 |
| 5 | PoisonCap CHERI 时序安全 | arXiv cs.AR | 硬件内存安全 |
自动生成 · 2026-05-15 · jeffinchen daily tech reading list
评论