← Reading List
📰 技术速递

联邦学习调度 · LLM 推理机制 · 小模型归因 · 超长上下文

Tech多源前沿

📰 2026-05-05 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 联邦学习调度 · LLM 推理机制 · 小模型归因 · 超长上下文。


1. FedACT:面向异构数据源的并发联邦学习调度框架

来源:cs.LG (arXiv)
链接:https://arxiv.org/abs/2605.00011
标签:联邦学习 · 异构调度 · 分布式训练 · 资源优化

FedACT 针对多 FL 任务共享设备池的场景,提出基于对齐评分的异构感知调度策略,同时引入参与公平性机制以均衡设备贡献。实验表明,相比 SOTA 基线,FedACT 将平均任务完成时间缩短最高 8.3×,模型精度提升最高 44.5%。

核心要点:

  • 提出对齐评分机制,动态评估设备资源与 FL 任务需求的兼容性
  • 引入参与公平性约束,防止少数设备被过度占用
  • 在多 FL 任务并发场景下,平均 JCT 降低 8.3×,精度提升 44.5%
  • 首次系统建模多并发 FL 作业调度的资源异构性问题

2. SGD 的信息论泛化界:自适应历史感知虚拟扰动分析

来源:cs.LG (arXiv)
链接:https://arxiv.org/abs/2605.00064
标签:SGD · 泛化理论 · 信息论 · 优化理论

本文扩展了 SGD 虚拟扰动泛化分析框架,将扰动协方差从固定形式推广至可依赖历史 SGD 轨迹的自适应形式。通过条件高斯相对熵论证,给出了涵盖自适应几何的泛化界,并统一了固定各向同性和几何感知界作为特例。

核心要点:

  • 引入「可预测历史自适应虚拟扰动」,协方差可依赖过去 SGD 历史
  • 用条件高斯相对熵导出新的泛化界,涵盖梯度统计、预条件器等自适应几何
  • 界中含协方差比较代价项,量化使用参考几何的 KL 代价
  • 固定噪声界作为同步条件的特殊情况被统一纳入框架

3. RSAT:结构化归因让小模型成为可信的表格推理器

来源:cs.CL (arXiv)
链接:https://arxiv.org/abs/2605.00199
标签:小语言模型 · 表格推理 · GRPO · 可信AI · 细粒度归因

RSAT 训练 1-8B 参数的小模型输出带单元格级引用的逐步推理,分两阶段:SFT 学习结构化 JSON 输出格式,GRPO 以 NLI 可信度为核心奖励进行强化。在 Qwen 2.5 和 Llama 3 六个模型上,可信度相比纯 SFT 提升 3.7×(0.224→0.826),引用有效率近乎完美(0.992)。

核心要点:

  • SFT 阶段从经过验证的推理轨迹学习结构化 JSON 输出格式
  • GRPO 阶段以 NLI 可信度为核心奖励,辅以引用有效性与简洁性
  • 可信度相比纯 SFT 提升 3.7×,达到 0.826;引用有效率 0.992
  • 验证归因必须集成到推理过程中,事后补充归因成功率不足 13%

4. 为何大模型在策略博弈中频繁失败:观察、信念与行动的断裂

来源:cs.CL (arXiv)
链接:https://arxiv.org/abs/2605.00226
标签:LLM · 策略推理 · 信念建模 · 不完全信息 · 机制分析

研究揭示 LLM 在不完全信息博弈中存在两个根本性断层:观察-信念断层(内部表示的信念比口头报告更准确,但随多跳推理退化)和信念-行动断层(即使信念准确,行动选择仍偏离最优)。实验覆盖 Llama 3.1、Qwen3 和 GPT-oss。

核心要点:

  • LLM 内部信念准确性显著高于其口头报告,存在内外一致性缺口
  • 信念准确性随多跳推理步数增加而退化,呈现首因和近因偏差
  • 即使信念准确,行动选择仍与贝叶斯最优策略存在系统性偏差
  • 对谈判、决策等智能体应用场景具有重要的安全性和可靠性含义

5. AI 评测正在成为新的算力瓶颈

来源:HuggingFace Blog
链接:https://huggingface.co/blog/evaleval/eval-costs-bottleneck
标签:模型评测 · 算力瓶颈 · Benchmark · 评测效率

随着 LLM 能力快速提升,高质量评测的算力成本已成为模型迭代的新瓶颈。文章分析了当前主流评测范式的计算开销,探讨如何通过更高效的评测子集选择和元评测方法,在降低评测成本的同时保持对真实能力的准确估计。

核心要点:

  • 大规模评测算力成本已与训练成本量级可比,成为研发循环瓶颈
  • 精心筛选的 50 样本子集可达到完整 benchmark 0.93 Pearson 相关性
  • 提出元评测(eval-of-eval)思路,评估评测集本身的效率与覆盖度
  • 呼吁社区建立更高效的评测标准,避免重复昂贵的全量评测

6. Granite 4.1 大模型构建解析

来源:HuggingFace Blog
链接:https://huggingface.co/blog/ibm-granite/granite-4-1
标签:大模型训练 · IBM Granite · 预训练 · 指令微调

IBM 详细介绍了 Granite 4.1 系列模型的构建过程,包括预训练数据配比、多阶段训练策略、指令微调方法和安全对齐流程。Granite 4.1 在代码、数学和推理任务上相比前代有显著提升,同时保持企业级可部署性。

核心要点:

  • 采用多阶段预训练策略,逐步引入高质量合成数据
  • 指令微调阶段针对代码生成、结构化输出和多步推理定向优化
  • 安全对齐流程覆盖 RAG、工具调用和企业文档理解场景
  • 模型在保持紧凑尺寸的同时,推理和代码能力显著超越同量级模型

7. DeepSeek-V4:百万 Token 上下文真正可用于 Agent

来源:HuggingFace Blog
链接:https://huggingface.co/blog/deepseekv4
标签:超长上下文 · DeepSeek · Agent · 推理效率 · KV Cache

DeepSeek-V4 实现了百万 Token 级别的有效上下文窗口,并针对 Agent 工作流进行了优化,使长文档检索、多轮对话记忆和工具调用链在超长上下文下仍保持低延迟。文章深入分析了其 KV Cache 管理和注意力机制的工程创新。

核心要点:

  • 百万 Token 上下文在实际 Agent 任务中实现有效利用,非形式支持
  • 优化 KV Cache 管理策略,大幅降低超长上下文推理的内存占用
  • 注意力机制改进使长距离依赖建模质量显著提升
  • 在多步工具调用和长文档 RAG 场景下,延迟和吞吐量均优于同类模型

📊 今日速览

# 标题摘要 来源 方向
1 FedACT:面向异构数据源的并发联邦学习调度框架… cs.LG 联邦学习
2 SGD 的信息论泛化界:自适应历史感知虚拟扰动分析… cs.LG SGD
3 RSAT:结构化归因让小模型成为可信的表格推理器… cs.CL 小语言模型
4 为何大模型在策略博弈中频繁失败:观察、信念与行动的断裂… cs.CL LLM
5 AI 评测正在成为新的算力瓶颈… HuggingFace Blog 模型评测
6 Granite 4.1 大模型构建解析… HuggingFace Blog 大模型训练
7 DeepSeek-V4:百万 Token 上下文真正可用于 … HuggingFace Blog 超长上下文

自动生成 · 2026-05-05 · jeffinchen daily tech reading list

评论