← Reading List
📰 技术速递

大模型架构、推理显存与 GPU 算子前沿

Tech多源前沿

📰 2026-08-15 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 高效注意力架构、循环记忆、编译器-智能体协同、GPU 算子验证、KV 缓存压缩与边缘多模态。


1. LoKiFormer:面向高效大模型预训练的局部感知注意力与解耦知识记忆

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.12419 标签:高效注意力 · 预训练架构 · MoE解耦 · 局部归纳偏置 · 大模型

现有大模型在预训练阶段存在两类低效问题:自注意力缺乏显式的局部性归纳偏置,对序列内部局部信息做冗余建模;混合专家(MoE)将知识存储与计算路径隐式耦合,难以灵活访问序列外部的全局知识。LoKiFormer 提出一种新型 LLM 架构,通过局部感知注意力显式引入局部性先验,并将知识记忆与计算通路解耦,从而在保持模型能力的同时降低预训练开销。

核心要点:

  • 指出现有自注意力与 MoE 在预训练中的两类结构性低效
  • 局部感知注意力为序列内部局部信息引入显式归纳偏置
  • 解耦知识记忆机制分离知识存储与计算路径,提升全局知识访问灵活性

2. MARCH:基于内容路由状态锚点的循环记忆扩展

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.12435 标签:循环记忆 · 长上下文 · 状态锚点 · 推理效率 · Transformer替代

Transformer 依赖随上下文长度增长的 token 级记忆,训练呈平方复杂度、自回归推理时 KV 缓存线性膨胀;循环类模型虽能以固定大小状态压缩历史、实现高效解码,却常因早期关联被后续更新覆盖而在召回密集型任务上表现不佳。MARCH 提出内容路由的状态锚点机制,让循环状态按内容而非时序组织,缓解覆盖问题,在保持高效解码的同时提升长程召回能力。

核心要点:

  • 分析 Transformer 与循环模型在长上下文下的效率-召回权衡
  • 内容路由状态锚点按语义而非时序组织记忆,减少关联覆盖
  • 在高效解码的前提下显著提升召回密集型任务表现

3. CAKE:面向前沿算子演化的编译器-智能体协同设计

来源:arXiv cs.LG 链接:https://arxiv.org/abs/2608.12629 标签:GPU算子 · 编译器协同 · DSL · 调度表示 · 智能体

GPU 算子智能体与 GPU 编程语言各自独立发展,导致专家级算子难以复现:智能体通常把编译器当作黑盒,仅能获得错误、正确性与计时反馈;现有 DSL 要么隐藏关键调度决策,要么以难以理解的布局抽象暴露它们。CAKE 提出编译器-智能体协同设计,智能体编写 CAKE IR——一种带类型的、硬件显式的调度表示,显式暴露 warp 角色、内存搬运、同步与流水,使算子演化可复现、可验证。

核心要点:

  • 揭示算子智能体与编译器割裂导致专家算子难以复现
  • CAKE IR 以硬件显式方式暴露 warp 角色、内存、同步与流水
  • 编译器-智能体协同让算子演化过程可复现、可审计

4. 面向 LLM 生成 GPU 算子的契约级验证器,及 Gated-Linear-Recurrence 的原生 Blackwell 反向算子

来源:arXiv cs.AR 链接:https://arxiv.org/abs/2608.12700 标签:GPU内核验证 · 数值正确性 · Blackwell · 反向算子 · 编译器

用语言模型生成 GPU 算子的系统常报告高正确率,但这些数字来自一个宽松测试:仅用几个随机输入在固定 shape 下运行,输出近似参考即接受。一个算子可能通过该测试却仍悄然出错——在真实答案应为 NaN/Inf 时返回普通数值、多次运行结果不一致、换 shape 后崩溃、或在 fp16 累加而参考用 fp32。本文构建了正确检查工具,并给出 Gated-Linear-Recurrence 家族在 Blackwell 上的原生反向算子。

核心要点:

  • 指出当前 LLM 生成算子的验证仅依赖宽松的单 shape 近似测试
  • 列举五类漏检错误:NaN/Inf 误返、结果不确定、shape 敏感、精度不一致
  • 提供契约级验证器及 Blackwell 原生反向算子实现

5. Thought-Aware KV Cache 压缩:基于自适应注意力匹配的思维感知推理压缩

来源:arXiv cs.CL 链接:https://arxiv.org/abs/2608.12331 标签:KV缓存 · 推理压缩 · 思维链 · 注意力匹配 · 显存优化

推理型语言模型生成冗长的思维链(CoT),其 KV 缓存随序列线性增长,在解码阶段成为显存瓶颈。现有压缩方法把推理轨迹当作扁平 token 序列做均匀压缩,忽略了 CoT 推理的层级结构——不同步骤的重要性差异巨大。本文提出 Thought-Aware Attention Matching(TAM),通过思维分段、注意力重要性估计与自适应保留三类机制,利用推理结构做差异化压缩。

核心要点:

  • 揭示均匀压缩忽略 CoT 步骤间巨大重要性差异的问题
  • 思维分段 + 注意力重要性估计 + 自适应保留三大机制
  • 针对推理模型 KV 缓存做结构化压缩,缓解解码显存瓶颈

6. vToken:面向可回收 KV 缓存的 Token 级虚拟化

来源:arXiv cs.OS 链接:https://arxiv.org/abs/2608.13263 标签:KV缓存 · 内存虚拟化 · 分页注意力 · 碎片回收 · 推理服务

大模型推理服务面临关键显存瓶颈:KV 缓存随序列长度与批大小增长。PagedAttention 用固定大小内存块降低分配器级碎片,但近期 KV 淘汰算法以比块更细的 token 粒度运行,二者粒度不匹配造成块内碎片,使大量已分配 KV 内存无法回收。vToken 提出轻量级 token 级虚拟化层,将逻辑 token 存活状态与物理块放置解耦,从而精准回收单 token 粒度的闲置显存。

核心要点:

  • 指出块级管理与 token 级淘汰之间的粒度错配导致块内碎片
  • vToken 解耦逻辑 token 存活与物理块放置,实现细粒度回收
  • 在 PagedAttention 之上提升 KV 显存可回收比例

7. LFM2.5-VL-3B:面向边缘端更优更快的视觉能力

来源:HuggingFace Blog (LiquidAI) 链接:https://huggingface.co/blog/LiquidAI/lfm2-5-vl-3b 标签:多模态 · 视觉语言模型 · 边缘部署 · 小模型 · 推理加速

LiquidAI 发布 LFM2.5-VL-3B,一个约 30 亿参数的视觉-语言模型,专为边缘设备上的高效推理设计。相比前代,它在视觉理解与生成质量上取得提升,同时保持极低延迟与内存占用,适合在手机、嵌入式等算力受限环境部署。文章介绍了模型架构取舍、训练数据策略以及在边缘场景下的实测吞吐与精度表现。

核心要点:

  • 3B 级视觉-语言模型,面向边缘端低延迟推理优化
  • 在视觉能力与生成质量上较前代提升,同时控制显存占用
  • 提供边缘场景实测吞吐与精度,便于端侧落地

📊 今日速览

# 标题摘要 来源 方向
1 LoKiFormer arXiv cs.LG 高效架构
2 MARCH arXiv cs.LG 长上下文
3 CAKE arXiv cs.LG 编译器协同
4 面向 LLM 生成 GPU 算子的契 arXiv cs.AR 高效架构
5 Thought-Aware KV C arXiv cs.CL KV缓存
6 vToken arXiv cs.OS KV缓存
7 LFM2.5-VL-3B HuggingFace Blog (LiquidAI) 边缘多模态

自动生成 · 2026-08-15 · jeffinchen daily tech reading list

评论