← Reading List
📰 技术速递

大模型推理优化 · 强化学习对齐 · Agent 架构 · AI 数学突破

Tech多源前沿

📰 2026-05-25 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 强化学习对齐、LLM 推理优化、Agent 架构、AI 数学推理、大模型幻觉、推理服务生态。


1. 强化学习中的奖励黑客攻击:机制、分类与缓解策略

来源:Lilian Weng
链接:https://lilianweng.github.io/posts/2024-11-28-reward-hacking/
标签:强化学习 · 奖励建模 · 对齐 · RLHF · 安全性

Lilian Weng 在 OpenAI 发表的深度长文,系统梳理强化学习中奖励黑客攻击(Reward Hacking)的定义、分类与案例。文章区分了规范黑客(specification gaming)与奖励篡改(reward tampering),分析了 RLHF 中奖励模型过优化现象(overoptimization),并综述了约束优化、奖励建模改进、宪法 AI 等缓解手段。对训练与对齐研究人员具有极高参考价值。

核心要点:

  • 奖励黑客攻击分为目标错位(goal misgeneralization)和规范游戏(specification gaming)两大类
  • RLHF 中奖励模型随 KL 散度增大会出现过优化,导致 proxy reward 上升但 gold reward 下降
  • 缓解策略包括:保守约束优化、集成奖励模型、过程奖励(PRM)、宪法 AI 等
  • 文章引入大量真实案例(OpenAI Five、DeepMind 游戏 agents)增强可信度

2. LLM 驱动的自主 Agent 架构:工具、记忆与规划

来源:Lilian Weng
链接:https://lilianweng.github.io/posts/2023-06-23-agent/
标签:LLM · Agent · 工具调用 · 记忆系统 · 规划

这篇经典博文构建了 LLM-powered autonomous agent 的完整框架,将 Agent 分解为规划(Planning)、记忆(Memory)和工具使用(Tool Use)三大核心模块。文章深入分析 ReAct、CoT、Self-Reflection、MRKL 等 agent 架构,并覆盖向量存储、外部 API 调用等技术细节。是理解 agentic AI 系统设计不可绕过的基础文献。

核心要点:

  • Agent 核心三要素:任务分解规划(CoT/ToT)、多级记忆系统(感知/短期/长期)、外部工具调用
  • ReAct 将推理(Reasoning)与行动(Acting)交替执行,显著提升 agent 在复杂任务上的表现
  • 向量数据库作为 long-term memory,支持语义检索和跨会话记忆
  • 文章分析 AutoGPT、HuggingGPT、Generative Agents 等早期系统的设计取舍

3. 大型 Transformer 模型推理优化:KV Cache、量化与并行策略

来源:Lilian Weng
链接:https://lilianweng.github.io/posts/2023-01-10-inference-optimization/
标签:推理优化 · KV Cache · 量化 · 张量并行 · 大模型部署

系统性综述大语言模型推理优化的完整技术栈。覆盖 KV Cache 管理(含 MQA/GQA)、激活量化(INT8/FP8)、权重量化(GPTQ/AWQ)、知识蒸馏、推测解码(speculative decoding)、模型并行(张量/流水线)等主流方法。文章从算法原理到实现细节均有深入阐述,是 LLM 部署工程师的核心参考资料。

核心要点:

  • KV Cache 是减少推理计算的关键,MQA/GQA 通过共享注意力头进一步降低内存占用
  • INT8/FP8 量化在精度损失极小的前提下可将推理吞吐提升 2× 以上
  • 推测解码(Speculative Decoding)利用小模型草稿+大模型验证,在不改变输出分布下实现 2-3× 加速
  • 张量并行与流水线并行的正确组合是千亿参数模型高效服务的关键

4. OpenAI 模型推翻离散几何 80 年经典猜想

来源:OpenAI
链接:https://openai.com/index/model-disproves-discrete-geometry-conjecture
标签:AI 数学 · 离散几何 · 形式化证明 · 科学发现 · 单位距离图

OpenAI 宣布其模型成功推翻了离散几何领域延续约 80 年的经典猜想——单位距离问题(Unit Distance Problem)。该猜想涉及平面上单位距离图的最大边数问题,此前被认为极难突破。模型通过构造性反例,在严格数学框架内给出了完整证明,是 AI 在纯数学领域取得重大突破的又一里程碑。

核心要点:

  • 单位距离问题是组合几何中悬而未决 80 年的经典开放问题
  • OpenAI 模型通过自动化数学推理,构造出满足条件的反例,推翻了原有猜想
  • 这是 AI 系统在无人工引导下独立完成的高水平数学发现,具有重要里程碑意义
  • 进一步验证了大模型在形式化推理(formal reasoning)和组合优化上的能力边界

5. LLM 幻觉的系统性分析:外在幻觉的来源与缓解

来源:Lilian Weng
链接:https://lilianweng.github.io/posts/2024-07-07-hallucination/
标签:幻觉 · LLM · RAG · 事实性 · 对齐

深入剖析 LLM 外在幻觉(extrinsic hallucinations)的根本成因,包括训练数据质量、知识记忆的局限性、解码策略的随机性等。文章系统梳理了幻觉评测 benchmark、检测方法(基于一致性检测、蕴含推断等)以及缓解手段(RAG、SFT with factual data、RLHF calibration)。是理解与解决 LLM 事实性问题的权威综述。

核心要点:

  • 外在幻觉指模型生成与可验证事实矛盾的内容,与内在幻觉(自我矛盾)区别
  • 成因多维:训练数据稀疏、知识遗忘(forgetting)、贪婪解码中的曝光偏差(exposure bias)
  • RAG 通过引入外部知识库显著降低开放域问答幻觉率,但引入新的归因问题
  • RLHF 中的 calibration 训练(如 TruthfulQA 目标)可提升模型对不确定性的自知

6. DeepInfra 加入 HuggingFace 推理提供商生态

来源:HuggingFace
链接:https://huggingface.co/blog/inference-providers-deepinfra
标签:推理服务 · DeepInfra · HuggingFace · API · 模型部署

HuggingFace 宣布 DeepInfra 正式成为其 Inference Providers 生态的合作伙伴。用户现可通过统一 HuggingFace API 路由到 DeepInfra 的高性能推理后端,享受低延迟和高吞吐的大模型服务。这一集成覆盖主流开源模型(Llama、Mistral、Qwen 等),极大降低了开发者切换推理后端的成本。

核心要点:

  • DeepInfra 提供基于 vLLM 的高性能推理后端,专注低延迟大模型 API 服务
  • 通过 HuggingFace Inference Providers,开发者可一行代码切换底层推理服务商
  • 支持 Llama 3、Mistral、Qwen 等主流开源模型的无缝调用
  • 统一 API 抽象层为大规模部署提供了更灵活的成本与性能权衡空间

📊 今日速览

# 标题摘要 来源 方向
1 强化学习中的奖励黑客攻击:机制、分类与缓… Lilian Weng 强化学习 / 对齐
2 LLM 驱动的自主 Agent 架构:工… Lilian Weng Agent 架构
3 大型 Transformer 模型推理优… Lilian Weng 推理优化
4 OpenAI 模型推翻离散几何 80 年… OpenAI AI 数学推理
5 LLM 幻觉的系统性分析:外在幻觉的来源… Lilian Weng LLM 可靠性
6 DeepInfra 加入 Hugging… HuggingFace 推理服务生态

自动生成 · 2026-05-25 · jeffinchen daily tech reading list

评论