← Reading List
📰 技术速递

大模型推理优化 · 联合路由 · SSD 记忆 · 边缘压缩 · 推测解码

Tech多源前沿

📰 2026-07-10 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖大模型推理优化、联合路由、SSD 级记忆扩展、推测解码加速与边缘端压缩。


1. TF-Engram:面向大语言模型的无需训练的 SSD 级记忆增强机制

来源:cs.CL
链接:https://arxiv.org/abs/2607.07388
标签:LLM · 长期记忆 · SSD · 推理加速 · 无需训练

本文提出 TF-Engram,一种无需额外训练即可为 LLM 附加外部 SSD 持久化记忆的方法。通过类脑 Engram 机制,将关键激活状态持久化到固态硬盘,大幅扩展模型的上下文窗口而不增加参数量。该方法在推理期动态检索 SSD 存储的记忆片段,在长对话和跨会话记忆任务上显著优于传统 KV cache 方案。

核心要点:

  • 完全无需微调,可直接插拔到现有 LLM 推理链路
  • 利用 SSD 廉价大容量存储替代昂贵的 GPU HBM 显存
  • 仿脑 Engram 机制实现高相关性记忆检索,降低噪声
  • 在多轮长对话 benchmark 上显著提升召回准确率

2. TriRoute:跨注意力、MoE 专家与 KV 缓存三轴联合路由框架

来源:cs.LG
链接:https://arxiv.org/abs/2607.06601
标签:MoE · KV-Cache · 推理效率 · 联合路由 · 量化

传统 MoE、MoD、KV 量化方案各自独立作用于不同计算维度,TriRoute 提出用单一轻量控制器联合调度三者:每个 token 在每层同时决定注意力模式(skip/local/full)、稀疏专家集合与 KV 缓存精度。训练时通过 Lagrangian 预算约束端对端优化,并引入跨轴平衡损失解决路由崩溃问题。在 160M–1.3B 参数量模型上,TriRoute 以相同 FLOPs 和内存预算 Pareto 超越独立方案组合。

核心要点:

  • 三轴联合路由:注意力分辨率、专家选择、KV 位宽同步优化
  • Gumbel-Softmax + top-k 混合松弛,端对端可微训练
  • Lagrangian 预算约束将计算/内存开销转化为可调旋钮
  • 发现跨轴路由崩溃级联现象,并提出 per-axis 归一化解法

3. DeLS-Spec:解耦长短上下文以实现并行推测解码

来源:cs.CL
链接:https://arxiv.org/abs/2607.06831
标签:推测解码 · 并行推理 · 长上下文 · 解码加速

现有推测解码方案在长上下文场景下因草稿模型需要完整 KV 历史而效率受限。DeLS-Spec 将长短上下文解耦,草稿阶段仅使用近期短上下文进行快速并行预测,验证阶段再与目标模型完整上下文对齐。这一机制在不影响输出质量的前提下,显著降低草稿生成延迟,加速吞吐量提升效果在长文档问答和代码补全任务上尤为突出。

核心要点:

  • 将草稿模型与目标模型的上下文访问范围解耦
  • 长上下文场景下推测解码延迟降低,接受率持平
  • 支持并行多草稿生成,适配现代 batched serving 架构
  • 在代码补全与长文档 QA 上吞吐量提升显著

4. 内存稀缺、开源模型与 AI 产业格局重构(2024-2026)

来源:cs.AR
链接:https://arxiv.org/abs/2607.07207
标签:AI 产业 · 内存墙 · 开源模型 · 硬件瓶颈 · 行业分析

本文系统分析了 HBM/DRAM 内存稀缺如何成为大模型部署的核心瓶颈,以及这一约束如何推动开源模型生态快速崛起并重塑商业格局。研究表明,内存带宽限制迫使推理优化从算法层深入硬件架构层,同时对 AI 硬件初创公司的差异化路径产生深远影响。

核心要点:

  • 系统梳理 2024-2026 年 HBM 供应约束与模型部署成本关系
  • 量化内存墙对推理吞吐的直接影响及主要缓解策略
  • 分析开源模型(Llama/Qwen/Mistral 系列)如何受益于内存高效推理
  • 对 AI 芯片市场竞争格局变化做出预判

5. EdgeCompress:边缘端多维模型压缩与动态推理协同优化

来源:cs.AR
链接:https://arxiv.org/abs/2607.06982
标签:边缘推理 · 模型压缩 · 量化 · 剪枝 · 动态推理

EdgeCompress 面向资源受限的边缘设备,将量化、剪枝、知识蒸馏与动态推理深度耦合,提出统一优化框架。通过对输入复杂度的实时感知,系统动态调整激活的计算路径与精度,在保证延迟 SLA 的同时最大化模型精度。实验在多种边缘 NPU 和 ARM 芯片上验证,显著优于单维度压缩基线。

核心要点:

  • 量化+剪枝+蒸馏三位一体,非独立流水线而是协同优化
  • 输入感知的动态精度控制,实时适配算力预算
  • 支持 ARM Cortex、RISC-V NPU 等异构边缘硬件
  • 在 ImageNet/COCO 等标准 benchmark 上超越单维基线

6. LLM 引导的任务语义场分解用于工业过程预测

来源:cs.LG
链接:https://arxiv.org/abs/2607.06623
标签:LLM · 时序预测 · 工业 AI · 语义分解 · 过程建模

工业过程数据通常包含复杂的多变量耦合关系,传统时序模型难以利用领域语义信息。本文将 LLM 的语义理解能力引入工业过程预测,通过 LLM 引导将传感器时序分解为若干语义相关的任务场,再以专门子模型分别建模,最后融合预测。该方法在化工、能源等工业数据集上刷新 SOTA。

核心要点:

  • LLM 作为领域语义解析器,而非直接执行预测
  • 任务语义场分解缓解多变量耦合干扰问题
  • 子模型并行推理后融合,计算开销可控
  • 在多个真实工业数据集上超越 PatchTST/TimesNet 等基线

📊 今日速览

# 标题摘要 来源 方向
1 TF-Engram:面向大语言模型的无需… cs.CL LLM
2 TriRoute:跨注意力、MoE 专家… cs.LG MoE
3 DeLS-Spec:解耦长短上下文以实现… cs.CL 推测解码
4 内存稀缺、开源模型与 AI 产业格局重构… cs.AR AI 产业
5 EdgeCompress:边缘端多维模型… cs.AR 边缘推理
6 LLM 引导的任务语义场分解用于工业过程… cs.LG LLM

自动生成 · 2026-07-10 · jeffinchen daily tech reading list

评论