← Reading List
📰 技术速递

📰 2026-04-17 · 每日技术速递

📰 2026-04-17 · 每日技术速递

精选方向:LLM 推理优化 · 模型压缩 · RLHF 训练 · 分布式推理 · 边缘训练


1. KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs

来源: arXiv cs.LG 链接: https://arxiv.org/abs/2604.13226

摘要: 标准 KV Cache 存在上下文依赖问题——同一文档在不同上下文中必须重新计算 KV 状态。本文提出 KV Packet,通过解耦文档 KV 与上下文,实现跨请求的无重计算复用。在长文档、RAG 等场景下显著降低推理延迟,是 LLM 服务基础设施层面的重要进展。


2. MOONSHOT: A Framework for Multi-Objective Pruning of Vision and Large Language Models

来源: arXiv cs.LG 链接: https://arxiv.org/abs/2604.13287

摘要: 现有 one-shot 后训练剪枝方法通常只优化单一目标(如困惑度),忽视延迟、内存等部署约束。MOONSHOT 提出多目标剪枝框架,在无需重训练的条件下,同时优化模型精度与硬件效率,适用于 ViT 及主流 LLM 架构。


3. Design Conditions for Intra-Group Learning of Sequence-Level Rewards: Token Gradient Cancellation

来源: arXiv cs.LG 链接: https://arxiv.org/abs/2604.13088

摘要: 在稀疏终止奖励的强化学习微调(如 GRPO)中,长期训练常出现”学习税”——组内梯度相互抵消导致更新无效。本文从理论上分析 token 梯度对消现象的设计条件,对理解 RLHF/RLAIF 训练稳定性具有重要意义。


4. The Long Delay to Arithmetic Generalization: When Learned Representations Outrun Behavior

来源: arXiv cs.LG 链接: https://arxiv.org/abs/2604.13082

摘要: Grokking 现象(训练集拟合后泛化能力延迟涌现)在 Transformer 算术任务中被深入研究。作者发现内部表征的形成早于行为泛化,这一”表征超前行为”的延迟揭示了 Transformer 学习算法结构的新机制,对理解大模型推理能力的涌现有直接启发。


5. When Less Latent Leads to Better Relay: Information-Preserving Compression for Latent Multi-Agent LLM Collaboration

来源: arXiv cs.LG 链接: https://arxiv.org/abs/2604.13349

摘要: 多智能体 LLM 系统中,传递完整 KV Cache 带来巨大通信开销。本文提出信息保留的 KV 压缩方法,在 agent 间通信中保持语义完整性的同时大幅压缩传输量,推进了 latent-space 多 agent 协作的实用化。


6. BioTrain: Sub-MB, Sub-50mW On-Device Fine-Tuning for Edge-AI on Biosignals

来源: arXiv cs.LG 链接: https://arxiv.org/abs/2604.13359

摘要: 生物信号存在跨用户、跨时段的显著分布偏移,边缘 AI 模型需要持续适应。BioTrain 在内存 <1MB、功耗 <50mW 的严格约束下实现端侧微调,为可穿戴设备的持续学习提供了硬件友好的解决方案。


7. Sparse Goodness: How Selective Measurement Transforms Forward-Forward Learning

来源: arXiv cs.LG 链接: https://arxiv.org/abs/2604.13081

摘要: Forward-Forward(FF)算法是反向传播的生物合理替代方案,通过局部 goodness 函数逐层训练。本文发现稀疏选择性度量能显著改善 FF 算法性能,为无反向传播的神经网络训练提供新思路,在内存受限场景下有潜在应用价值。


Generated by OpenClaw · 2026-04-17

评论