📰 2026-05-05 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 联邦学习调度 · LLM 推理机制 · 小模型归因 · 超长上下文。
1. FedACT:面向异构数据源的并发联邦学习调度框架
来源:cs.LG (arXiv)
链接:https://arxiv.org/abs/2605.00011
标签:联邦学习 · 异构调度 · 分布式训练 · 资源优化
FedACT 针对多 FL 任务共享设备池的场景,提出基于对齐评分的异构感知调度策略,同时引入参与公平性机制以均衡设备贡献。实验表明,相比 SOTA 基线,FedACT 将平均任务完成时间缩短最高 8.3×,模型精度提升最高 44.5%。
核心要点:
- 提出对齐评分机制,动态评估设备资源与 FL 任务需求的兼容性
- 引入参与公平性约束,防止少数设备被过度占用
- 在多 FL 任务并发场景下,平均 JCT 降低 8.3×,精度提升 44.5%
- 首次系统建模多并发 FL 作业调度的资源异构性问题
2. SGD 的信息论泛化界:自适应历史感知虚拟扰动分析
来源:cs.LG (arXiv)
链接:https://arxiv.org/abs/2605.00064
标签:SGD · 泛化理论 · 信息论 · 优化理论
本文扩展了 SGD 虚拟扰动泛化分析框架,将扰动协方差从固定形式推广至可依赖历史 SGD 轨迹的自适应形式。通过条件高斯相对熵论证,给出了涵盖自适应几何的泛化界,并统一了固定各向同性和几何感知界作为特例。
核心要点:
- 引入「可预测历史自适应虚拟扰动」,协方差可依赖过去 SGD 历史
- 用条件高斯相对熵导出新的泛化界,涵盖梯度统计、预条件器等自适应几何
- 界中含协方差比较代价项,量化使用参考几何的 KL 代价
- 固定噪声界作为同步条件的特殊情况被统一纳入框架
3. RSAT:结构化归因让小模型成为可信的表格推理器
来源:cs.CL (arXiv)
链接:https://arxiv.org/abs/2605.00199
标签:小语言模型 · 表格推理 · GRPO · 可信AI · 细粒度归因
RSAT 训练 1-8B 参数的小模型输出带单元格级引用的逐步推理,分两阶段:SFT 学习结构化 JSON 输出格式,GRPO 以 NLI 可信度为核心奖励进行强化。在 Qwen 2.5 和 Llama 3 六个模型上,可信度相比纯 SFT 提升 3.7×(0.224→0.826),引用有效率近乎完美(0.992)。
核心要点:
- SFT 阶段从经过验证的推理轨迹学习结构化 JSON 输出格式
- GRPO 阶段以 NLI 可信度为核心奖励,辅以引用有效性与简洁性
- 可信度相比纯 SFT 提升 3.7×,达到 0.826;引用有效率 0.992
- 验证归因必须集成到推理过程中,事后补充归因成功率不足 13%
4. 为何大模型在策略博弈中频繁失败:观察、信念与行动的断裂
来源:cs.CL (arXiv)
链接:https://arxiv.org/abs/2605.00226
标签:LLM · 策略推理 · 信念建模 · 不完全信息 · 机制分析
研究揭示 LLM 在不完全信息博弈中存在两个根本性断层:观察-信念断层(内部表示的信念比口头报告更准确,但随多跳推理退化)和信念-行动断层(即使信念准确,行动选择仍偏离最优)。实验覆盖 Llama 3.1、Qwen3 和 GPT-oss。
核心要点:
- LLM 内部信念准确性显著高于其口头报告,存在内外一致性缺口
- 信念准确性随多跳推理步数增加而退化,呈现首因和近因偏差
- 即使信念准确,行动选择仍与贝叶斯最优策略存在系统性偏差
- 对谈判、决策等智能体应用场景具有重要的安全性和可靠性含义
5. AI 评测正在成为新的算力瓶颈
来源:HuggingFace Blog
链接:https://huggingface.co/blog/evaleval/eval-costs-bottleneck
标签:模型评测 · 算力瓶颈 · Benchmark · 评测效率
随着 LLM 能力快速提升,高质量评测的算力成本已成为模型迭代的新瓶颈。文章分析了当前主流评测范式的计算开销,探讨如何通过更高效的评测子集选择和元评测方法,在降低评测成本的同时保持对真实能力的准确估计。
核心要点:
- 大规模评测算力成本已与训练成本量级可比,成为研发循环瓶颈
- 精心筛选的 50 样本子集可达到完整 benchmark 0.93 Pearson 相关性
- 提出元评测(eval-of-eval)思路,评估评测集本身的效率与覆盖度
- 呼吁社区建立更高效的评测标准,避免重复昂贵的全量评测
6. Granite 4.1 大模型构建解析
来源:HuggingFace Blog
链接:https://huggingface.co/blog/ibm-granite/granite-4-1
标签:大模型训练 · IBM Granite · 预训练 · 指令微调
IBM 详细介绍了 Granite 4.1 系列模型的构建过程,包括预训练数据配比、多阶段训练策略、指令微调方法和安全对齐流程。Granite 4.1 在代码、数学和推理任务上相比前代有显著提升,同时保持企业级可部署性。
核心要点:
- 采用多阶段预训练策略,逐步引入高质量合成数据
- 指令微调阶段针对代码生成、结构化输出和多步推理定向优化
- 安全对齐流程覆盖 RAG、工具调用和企业文档理解场景
- 模型在保持紧凑尺寸的同时,推理和代码能力显著超越同量级模型
7. DeepSeek-V4:百万 Token 上下文真正可用于 Agent
来源:HuggingFace Blog
链接:https://huggingface.co/blog/deepseekv4
标签:超长上下文 · DeepSeek · Agent · 推理效率 · KV Cache
DeepSeek-V4 实现了百万 Token 级别的有效上下文窗口,并针对 Agent 工作流进行了优化,使长文档检索、多轮对话记忆和工具调用链在超长上下文下仍保持低延迟。文章深入分析了其 KV Cache 管理和注意力机制的工程创新。
核心要点:
- 百万 Token 上下文在实际 Agent 任务中实现有效利用,非形式支持
- 优化 KV Cache 管理策略,大幅降低超长上下文推理的内存占用
- 注意力机制改进使长距离依赖建模质量显著提升
- 在多步工具调用和长文档 RAG 场景下,延迟和吞吐量均优于同类模型
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | FedACT:面向异构数据源的并发联邦学习调度框架… | cs.LG | 联邦学习 |
| 2 | SGD 的信息论泛化界:自适应历史感知虚拟扰动分析… | cs.LG | SGD |
| 3 | RSAT:结构化归因让小模型成为可信的表格推理器… | cs.CL | 小语言模型 |
| 4 | 为何大模型在策略博弈中频繁失败:观察、信念与行动的断裂… | cs.CL | LLM |
| 5 | AI 评测正在成为新的算力瓶颈… | HuggingFace Blog | 模型评测 |
| 6 | Granite 4.1 大模型构建解析… | HuggingFace Blog | 大模型训练 |
| 7 | DeepSeek-V4:百万 Token 上下文真正可用于 … | HuggingFace Blog | 超长上下文 |
自动生成 · 2026-05-05 · jeffinchen daily tech reading list
评论