← Reading List
📰 技术速递

LLM 推理加速与架构优化的前沿进展

Tech多源前沿

📰 2026-07-15 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖 LLM 推理加速、量化可靠性、模型蒸馏检测、免训练推理增强、编译器/加速器 ISA 自动生成、边缘 GPU 部署、注意力架构优化。


1. FlashAccel: Leveraging High-Bandwidth Flash for High-Throughput LLM Inference

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.10186
标签:LLM推理 · 高带宽闪存 · KV-Cache · 显存容量 · HBM替代

GPU 上的 HBM 容量正成为大模型推理的瓶颈,模型权重与 KV-Cache 快速增长使其难以承载。本文提出 FlashAccel,将高带宽闪存(HBF)作为容量更大、带宽接近 HBM 的新型存储基底,用于容量受限的 LLM 推理。论文针对 HBF 固有延迟与带宽特性,设计了权重与 KV-Cache 的分层放置与预取策略,在保持高吞吐的同时显著降低对昂贵 HBM 的依赖。

核心要点:

  • HBF 容量远超 HBM 且带宽接近,是容量受限推理的潜力介质
  • 针对 HBF 延迟/带宽特性设计权重与 KV-Cache 分层放置与预取
  • 在保持高吞吐前提下降低对昂贵 HBM 的依赖

2. Silent Failures in Quantized LLM Reasoning: A Taxonomy-Based Analysis of Hollow Convergence and Failure Mode Shifts

来源:arXiv cs.CL
链接:https://arxiv.org/abs/2607.09999
标签:量化 · 推理可靠性 · 失败分类 · 思维链 · 后训练量化

论文指出后训练量化(PTQ)即使在任务准确率保持不变的情况下,也会悄悄改变大模型的推理方式。作者构建了包含六类失败的标注体系(两名独立标注者 Cohen’s κ=0.906),对 3B–14B 的五个指令微调模型、三万条思维链(CoT)输出进行了系统分析,揭示了“空洞收敛”与失败模式漂移现象。这为量化部署前的可靠性评估提供了可操作的检测框架。

核心要点:

  • PTQ 在准确率不变时仍会静默改变模型推理行为
  • 提出六类失败分类体系,人工标注一致性高(κ=0.906)
  • 基于 30k CoT 输出揭示空洞收敛与失败模式漂移

3. Reference-Based Distillation Detection in LLMs

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2607.09692
标签:模型蒸馏 · 蒸馏检测 · 第三方模型 · 合规审计 · 指纹识别

模型蒸馏(用更强模型的输出训练)能提升性能,但也引发不公平优势与策略违规的担忧。本文研究一个基础问题:能否检测一个模型是否由另一模型蒸馏而来?论文证明在孤立状态下从学生模型反推教师几乎不可行,但通过引入参考模型做对比,可以在统计上有效识别蒸馏痕迹。该工作为模型合规审计与排行榜公平性提供了技术支撑。

核心要点:

  • 孤立地从学生反推教师模型基本不可行
  • 引入参考模型做对比可在统计上有效检测蒸馏
  • 为模型合规审计与排行榜公平性提供支撑

4. Depth-Entropy Guided Sampling for Training-Free LLM Reasoning

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2607.09693
标签:免训练推理 · 推理增强 · 采样策略 · 分布锐化 · 测试时计算

强化学习(RL)是提升 LLM 推理能力的主流范式,但成本高昂且依赖精选数据与奖励信号。近期研究表明,在测试时对基座模型分布做锐化采样即可恢复大量 RL 增益。本文提出 Depth-Entropy Guided Sampling,除输出熵外还利用模型深度的层级熵信息引导采样,无需任何训练即提升推理准确率,降低了推理增强的部署门槛。

核心要点:

  • RL 提升推理成本高,测试时锐化采样可恢复大量增益
  • 引入模型深度的层级熵信息引导采样
  • 完全免训练即可提升推理准确率

5. TensorLift: Automatic Extraction of Tensor-Level ISA Semantics from Accelerator RTL via MLIR Semantic Lifting

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2604.13523
标签:编译器 · MLIR · 张量加速器 · RTL语义提升 · ISA自动生成

大量张量加速器设计缺乏完善的 ISA 与编译器后端,导致评估只能覆盖少数算子。本文提出 TensorLift,从加速器 RTL 中自动提取张量级 ISA 语义,通过 MLIR 语义提升将硬件行为映射为可编译器消费的中间表示。给定自动生成的张量级 ISA 规范,即可自动构建完整软件栈(含编译器后端),大幅降低新加速器进入生态的门槛。

核心要点:

  • 从加速器 RTL 自动提取张量级 ISA 语义
  • 基于 MLIR 语义提升将硬件行为映射为 IR
  • 可据此自动生成完整编译器后端与软件栈

6. Edge Physical AI Deployment of Vision Transformers on Heterogeneous Edge GPU Targeting Autonomous Vehicles

来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.10942
标签:边缘部署 · Vision Transformer · 异构GPU · 自动驾驶 · 算子兼容

自动驾驶等 Physical AI 系统需要既满足严苛延迟与能耗约束、又基于 transformer 的感知模型。本文研究异构边缘 GPU 上的 ViT 部署,指出现有方案受困于硬件引擎利用率不足与加速器不兼容算子,导致执行碎片化与性能下降。论文提出针对异构边缘 GPU 的算子映射与调度优化,提升硬件利用率并满足实时感知需求。

核心要点:

  • 异构边缘 GPU 部署受困于引擎闲置与不兼容算子
  • 提出算子映射与调度优化提升硬件利用率
  • 在满足延迟/能耗约束下实现实时 ViT 感知

7. Low-Rank Attention Residuals

来源:arXiv cs.LG
链接:https://arxiv.org/abs/2607.09694
标签:注意力残差 · 低秩分解 · 深度路由 · 大模型架构 · 参数效率

Attention Residuals 用对前层输出的深度注意力替换固定残差求和,但将每个输出同时作为完整维度的 key/value,使路由与表示耦合且深度路由分数随隐藏维度 d 增长。本文提出 Low-Rank Attention Residuals(LRAR),对 key/value 做低秩分解,解耦路由与表示、并将路由开销与维度解耦,在保持深度路由能力的同时提升参数效率与可扩展性。

核心要点:

  • 原 Attention Residuals 将路由与表示耦合且开销随维度增长
  • LRAR 对 key/value 低秩分解,解耦路由与表示
  • 降低深度路由开销,提升参数效率与可扩展性

📊 今日速览

# 标题摘要 来源 方向
1 FlashAccel: Leveraging High-Bandwidth Fl cs.AR LLM推理
2 Silent Failures in Quantized LLM Reasoni cs.CL 量化
3 Reference-Based Distillation Detection i cs.LG 模型蒸馏
4 Depth-Entropy Guided Sampling for Traini cs.LG 免训练推理
5 TensorLift: Automatic Extraction of Tens cs.AR 编译器
6 Edge Physical AI Deployment of Vision Tr cs.AR 边缘部署
7 Low-Rank Attention Residuals cs.LG 注意力残差

自动生成 · 2026-07-15 · jeffinchen daily tech reading list

评论