📰 2026-05-23 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 RAG近数据处理加速、视频扩散Token压缩、AI Agent毫秒级沙箱C/R、Web Agent泛化训练、多模态潜在推理、多模态忠实感知RL以及跨阶段IXT训练框架。
1. NasZip:面向DIMM近数据处理的近似最近邻搜索软硬件协同加速
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.21952
标签:RAG · 近数据处理 · ANNS · DIMM · LLM推理
RAG系统的核心操作近似最近邻搜索(ANNS)在高维向量上进行距离计算,本质上是内存受限(memory-bound)的,I/O带宽成为吞吐瓶颈。NasZip提出软硬件协同设计方案,将ANNS计算卸载至基于DIMM的近数据处理(NDP)单元,同时在算法层引入近似距离计算以降低精度损失,从而大幅提升RAG检索吞吐并降低延迟。
核心要点:
- 将ANNS计算迁移至DIMM侧NDP单元,规避PCIe/内存总线带宽瓶颈
- 软件层采用近似距离计算算法与硬件NDP能力协同匹配设计
- 实现RAG检索吞吐量显著提升,是LLM推理系统级优化的新方向
2. ORBIS:面向视频扩散加速的输出引导Token压缩与分布感知匹配
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2605.22015
标签:Diffusion Transformer · Token压缩 · 视频生成 · 推理加速 · DiT
视频Diffusion Transformer(DiT)中3D时空注意力的Token数量随帧数线性增长,导致计算开销急剧上升。ORBIS提出输出引导的Token压缩策略:利用输出分布感知的相似性匹配算法识别冗余Token,比现有方法更准确地估计空间冗余程度,在保持生成质量的前提下大幅降低视频DiT的计算量。
核心要点:
- 引入输出引导信号辅助Token冗余判断,避免仅依赖输入特征导致的误差
- 分布感知匹配算法相比现有轻量matching方案精度更高
- 针对视频DiT 3D时空注意力的Token级别压缩,可加速长视频生成推理
3. DeltaBox:毫秒级沙箱Checkpoint/Rollback支撑有状态AI Agent扩展
来源:arXiv cs.OS
链接:https://arxiv.org/abs/2605.22781
标签:AI Agent · 沙箱 · Checkpoint · 操作系统 · 强化学习
LLM驱动的AI Agent在测试时树搜索和强化学习中需要对完整沙箱状态(文件+进程内存+上下文)进行高频C/R操作。现有全量状态复制方案每次C/R需数百毫秒甚至数秒,严重瓶颈深度搜索。DeltaBox提出增量状态差异跟踪机制,仅记录和回滚状态差异(Delta),实现毫秒级沙箱C/R,支撑大规模Agent fan-out搜索。
核心要点:
- 基于写时复制(CoW)语义只追踪状态变化Delta,避免全量复制开销
- 将C/R延迟从数百毫秒降至毫秒级,是Agent RL训练的基础设施突破
- 支持进程内存、文件系统等完整沙箱状态的快速一致性快照与回滚
4. Weasel:基于重要性多样性数据选择的Web Agent跨域泛化训练
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.20291
标签:Web Agent · 离线训练 · 泛化 · 数据选择 · LLM微调
LLM驱动的Web Agent在特定域微调后跨域泛化能力弱,同时离线训练存在噪声轨迹多、冗余高、AXTree状态过长等效率问题。Weasel提出轨迹选择方法:结合重要性打分(保留高价值轨迹)与多样性采样(覆盖更广域特征),显著提升跨域泛化性能同时降低训练计算量。
核心要点:
- 重要性评分过滤低质量/冗余轨迹,提升每条训练数据的信息密度
- 多样性采样确保训练覆盖多域分布,增强OOD泛化能力
- 在离线Web Agent训练场景下实现效率与泛化的双重提升
5. LatentOmni:基于统一音视频潜在推理重构全模态理解
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.22012
标签:多模态LLM · 潜在推理 · 音视觉 · Chain-of-Thought · MLLM
现有多模态大模型(MLLM)在需要音视频联合细粒度推理时表现欠佳,根本原因是文本CoT将连续的音视觉信号压缩为离散Token,弱化了时序对齐并使中间推理过度依赖语言先验。LatentOmni提出在潜在空间(latent space)而非文本空间进行多模态联合推理,构建统一音视觉潜在推理链,保持模态的连续性与时序精度。
核心要点:
- 推理链从文本离散空间迁移至连续潜在空间,避免信号压缩损失
- 统一音视频latent token表示,支持跨模态时序对齐推理
- 解决当前MLLM在强依赖音视觉证据场景下推理不忠实的核心问题
6. Faithful-MR1:通过视觉注意力锚定与强化实现忠实多模态推理
来源:arXiv cs.CL
链接:https://arxiv.org/abs/2605.22072
标签:RLVR · 多模态推理 · 视觉注意力 · 强化学习 · 忠实性
RLVR(可验证奖励强化学习)扩展至多模态LLM时出现忠实性挑战:模型感知到任务相关视觉证据后在推理中未能忠实使用,导致多模态基准提升有限。Faithful-MR1提出视觉注意力锚定机制,在推理过程中强制将中间步骤锚定到视觉证据,并通过强化手段提升视觉感知忠实度,显著改善多模态推理质量。
核心要点:
- 引入视觉注意力锚定(Anchoring),确保推理步骤与图像/视频证据强绑定
- 强化学习阶段加入忠实性奖励信号,惩罚脱离视觉证据的推理路径
- 在多模态基准上超越基线RLVR方法,解决”看到但不用”的推理失真问题
7. Introspective X Training(IXT):反馈条件化改善LLM全阶段训练扩展性
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2605.20285
标签:LLM训练 · 预训练 · 后训练 · 反馈条件化 · 扩展律
IXT提出将LLM训练流水线后期阶段(如post-training)的动态信息反馈至早期阶段(如pre-training),灵感来自离线奖励条件化强化学习。通过将反馈信号作为条件输入注入各训练阶段,IXT使模型在每个阶段均能感知训练目标,提升跨阶段扩展效率,适用于预训练、SFT、RLHF等任意阶段组合。
核心要点:
- 将后训练奖励/反馈信号回溯注入预训练,形成跨阶段信息流
- 反馈条件化(Feedback Conditioning)机制可插拔适配各训练阶段
- 实验验证IXT在多个训练阶段均改善扩展效率,是通用LLM训练框架优化
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | NasZip:DIMM近数据处理加速ANNS | cs.AR | RAG/存储架构 |
| 2 | ORBIS:视频DiT输出引导Token压缩 | cs.AR | 扩散加速 |
| 3 | DeltaBox:毫秒级Agent沙箱C/R | cs.OS | 系统/Agent基础设施 |
| 4 | Weasel:Web Agent跨域泛化数据选择 | cs.LG | Agent训练 |
| 5 | LatentOmni:音视觉潜在空间联合推理 | cs.CL | 多模态LLM |
| 6 | Faithful-MR1:视觉注意力锚定RLVR | cs.CL | 多模态推理 |
| 7 | IXT:反馈条件化跨阶段LLM训练框架 | cs.LG | LLM训练 |
自动生成 · 2026-05-23 · jeffinchen daily tech reading list
评论