📰 2026-04-16 每日技术速递
每日精选 AI 系统 / 大模型 / 推理优化前沿论文,来源:arXiv cs.LG / cs.CL
1. KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs
| 来源:arXiv cs.LG | 链接:https://arxiv.org/abs/2604.13226 |
提出 KV Packet 方案,通过构建上下文无关的 KV 缓存块,彻底消除 LLM 推理中的 KV 重计算开销。核心思路是将 Prompt 切分为可独立缓存的数据包,每个 Packet 的 KV 值仅依赖自身内容而非全局上下文,从而实现跨请求的高效复用,显著降低首包时延(TTFT)和推理计算量。
2. MOONSHOT: A Framework for Multi-Objective Pruning of Vision and Large Language Models
| 来源:arXiv cs.LG | 链接:https://arxiv.org/abs/2604.13287 |
MOONSHOT 是一个统一的多目标剪枝框架,同时优化模型精度、延迟和内存占用三个维度。通过 Pareto 前沿搜索自动找到剪枝比例与性能的最优权衡,支持视觉模型(ViT 系列)和大语言模型,在 ImageNet 及多个 NLP Benchmark 上取得 SOTA 的压缩-精度曲线。
3. Lossless Prompt Compression via Dictionary-Encoding and In-Context Learning
| 来源:arXiv cs.CL | 链接:https://arxiv.org/abs/2604.13066 |
提出基于字典编码的无损 Prompt 压缩方法,利用 LLM 自身的 In-Context Learning 能力在推理侧实时解压。与有损压缩方法不同,该方案不改变语义,适用于需要精确复现原始指令的生产场景,压缩率可达 3-5×,兼容主流闭源 API。
4. Correct Chains, Wrong Answers: Dissociating Reasoning from Output in LLM Logic
| 来源:arXiv cs.CL | 链接:https://arxiv.org/abs/2604.13065 |
系统研究大模型 Chain-of-Thought 推理链与最终答案的解耦现象:即便中间推理步骤完全正确,模型仍可能输出错误答案,反之亦然。论文深入分析了这一”推理-输出解耦”的机制,对 RLHF 奖励设计及推理验证器的研发有重要参考意义。
5. Unleashing Implicit Rewards: Prefix-Value Learning for Distribution-Level Optimization
| 来源:arXiv cs.CL | 链接:https://arxiv.org/abs/2604.13197 |
提出 Prefix-Value Learning 方法,通过从语言模型中提取隐式奖励信号来进行分布级优化,无需显式奖励模型。该方法将奖励信号嵌入前缀序列的值函数中,在对齐任务上超越传统 PPO/DPO 方案,并有效缓解奖励模型偏差问题。
6. BioTrain: Sub-MB, Sub-50mW On-Device Fine-Tuning for Edge-AI on Biosignals
| 来源:arXiv cs.LG | 链接:https://arxiv.org/abs/2604.13359 |
面向边缘 AI 场景的超轻量级在设备微调框架,模型更新内存占用不超过 1MB,功耗低于 50mW。针对生物信号(ECG/EEG)的持续学习需求,通过梯度稀疏化和定点训练实现极低资源消耗,为可穿戴设备上的个性化模型更新提供可行路径。
| *生成时间:2026-04-16 | 数据来源:arXiv RSS* |
评论