← Reading List
📰 技术速递

编译器启发式、万亿参数 MoE 分布式训练与端侧 Agent 模型

Tech多源前沿

📰 2026-11-13 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 GPU 编译启发式、万亿参数 MoE 分布式训练、推理服务加速、端侧 Agent 模型与结构化生成。


1. Helion 内核编译期启发式:让编译器默认就快

来源:PyTorch 链接:https://pytorch.org/blog/fast-by-default-compile-time-heuristics-for-helion-kernels/ 标签:编译器 · Helion · Triton · GPU内核 · 自动调优

PyTorch 的 Helion 编译器面向 GPU 内核(尤其是 Triton 风格代码)引入了一套编译期启发式方法,能够在不需要用户手动调参的情况下自动选择 tile size、流水线、内存布局等策略。文章展示了在大量真实 kernel 上的基准,证明默认配置即可达到接近专家手调的性能,从而降低高性能 GPU 程序的门槛。

核心要点:

  • 在编译期而非运行期完成启发式决策,避免运行时开销
  • 覆盖 tile 划分、循环流水线、共享内存等常见调优维度
  • 在主流 benchmark 上默认配置接近专家手调性能

2. 一周内用 AI 将 SGLang 接入 Spyre 推理加速卡

来源:PyTorch 链接:https://pytorch.org/blog/integrating-sglang-into-spyre-in-under-a-week-with-ai/ 标签:推理加速 · SGLang · Spyre · 大模型服务 · 异构硬件

本文记录了团队借助 AI 辅助编程,在不到一周时间内把 SGLang 推理框架移植到 IBM Spyre 加速硬件上的过程。文章拆解了算子适配、调度路径与性能瓶颈定位的关键步骤,展示了在新硬件上快速跑通大模型推理服务的工程实践。

核心要点:

  • 利用 AI 辅助大幅缩短新硬件的框架移植周期
  • 重点攻克算子适配与请求调度两条关键路径
  • 为异构推理硬件的快速生态接入提供可复用经验

3. 在欧盟公有基础设施上用 PyTorch + TorchTitan 训练 1T 参数 MoE

来源:PyTorch 链接:https://pytorch.org/blog/training-a-1t-parameter-moe-on-eu-public-infrastructure-with-pytorch-and-torchtitan/ 标签:分布式训练 · MoE · TorchTitan · 万亿参数 · 并行策略

文章详述了如何在欧盟公有云基础设施上,基于 PyTorch 与 TorchTitan 训练一个参数量达 1 万亿的稀疏专家模型(MoE)。作者分享了数据并行、张量并行与专家并行的组合策略,以及大规模多节点训练下的稳定性、容错与通信优化经验。

核心要点:

  • 组合多种并行维度在公有云上扩展至万亿参数规模
  • TorchTitan 提供原生可组合的分布式训练抽象
  • 分享了多节点训练的容错与通信优化实战经验

4. LLMON:内生于大模型的标记语言,已落地 Granite 4.1

来源:HuggingFace 链接:https://huggingface.co/blog/ibm-granite/llmon-an-llm-native-markup-language-now-in-granite 标签:标记语言 · Granite · 结构化输出 · 提示工程 · IBM

LLMON 是一种为 LLM 原生设计的标记语言,让模型以更可控、可解析的方式产出结构化内容。文章介绍其语法设计与解析机制,并说明它已被集成进 IBM Granite 4.1 的 3B/8B 模型,用于提升工具调用与结构化生成的可靠性。

核心要点:

  • 面向 LLM 而非人类阅读设计的轻量标记语言
  • 提升结构化输出与工具调用的可控性与可解析性
  • 已原生集成进 Granite 4.1 3B/8B 模型

5. 3D 生成模型的 LoRA 微调完全指南

来源:HuggingFace 链接:https://huggingface.co/blog/3d-lora-finetuning 标签:微调 · LoRA · 3D生成 · 扩散模型 · 多模态

这是一份针对 3D 生成模型(如基于扩散的网格/NeRF 生成器)的 LoRA 微调实战指南。文章从数据准备、适配器配置、训练超参到推理部署,系统梳理了用少量数据定制 3D 生成能力的关键步骤与常见坑。

核心要点:

  • 系统覆盖 3D 生成模型的 LoRA 数据到部署全流程
  • 低成本定制专属 3D 资产生成能力
  • 给出训练超参与常见失败模式的排查建议

6. BotPsy:十亿参数以下的端侧 Agent 语言模型

来源:HuggingFace 链接:https://huggingface.co/blog/qvac/botpsy 标签:端侧推理 · 小模型 · Agent · 量化 · 个人助理

BotPsy 介绍了一个参数量低于十亿的 Agentic 语言模型,能够在手机等端侧设备上运行个人助理。文章阐述了模型在保持工具调用与规划能力的同时,通过量化与蒸馏压缩到可端侧部署尺寸的设计取舍。

核心要点:

  • 参数<1B 仍具备 Agent 规划与工具调用能力
  • 面向端侧隐私与低延迟场景设计
  • 通过量化/蒸馏实现可落地的设备内部署

7. Hugging Face 上的决策模型(Decision Models)

来源:HuggingFace 链接:https://huggingface.co/blog/decision 标签:决策模型 · 强化学习 · 智能体 · 策略网络 · HF生态

文章梳理了 Hugging Face 平台上“决策模型”这一类别——涵盖强化学习策略、世界模型与控制策略等用于序列决策的模型。作者介绍了相关模型、数据集与训练范式,并探讨其在 Agent 与机器人场景的落地路径。

核心要点:

  • 统一归类 RL 策略/世界模型/控制策略等决策类模型
  • 提供配套数据集与训练范式降低使用门槛
  • 面向智能体与机器人等序列决策场景

📊 今日速览

# 标题摘要 来源 方向
1 Helion 内核编译期启发式:让编译器默认就快 PyTorch 技术
2 一周内用 AI 将 SGLang 接入 Spyre 推理加速卡 PyTorch 技术
3 在欧盟公有基础设施上用 PyTorch + TorchTitan 训练 1T 参数 MoE PyTorch 技术
4 LLMON:内生于大模型的标记语言,已落地 Granite 4.1 HuggingFace 结构化输出
5 3D 生成模型的 LoRA 微调完全指南 HuggingFace 模型微调
6 BotPsy:十亿参数以下的端侧 Agent 语言模型 HuggingFace 端侧模型
7 Hugging Face 上的决策模型(Decision Models) HuggingFace 决策模型

自动生成 · 2026-11-13 · jeffinchen daily tech reading list

评论