← Reading List
📰 技术速递

FPGA推理加速 · 存内计算 · 分布式训练 · 量化推理 · 内存扩展 · AI原生OS

Tech多源前沿

📰 2026-07-08 · 每日技术速递

今日精选 6 篇深度技术文章,覆盖 FPGA推理优化、存内计算加速、分布式训练、FlashAttention量化、GPU内存扩展、AI原生操作系统。


1. ELiTeFormer:面向FPGA的高效Transformer部署框架

来源:cs.AR (arXiv)
链接:https://arxiv.org/abs/2607.03652
标签:FPGA · Transformer推理 · 硬件加速 · LLM部署 · 内存优化

Transformer 架构在大语言模型中无处不在,但其高计算量和大内存带宽需求使其在 FPGA 上的部署极具挑战性。ELiTeFormer 针对 FPGA 硬件约束进行了系统性的架构重设计,通过算子融合、位宽裁剪与数据流重排,在保持模型精度的前提下显著降低片上资源占用和推理延迟,为边缘端 LLM 部署提供了新的可行路径。

核心要点:

  • 针对 FPGA 的 Transformer 架构重设计,系统解决计算/带宽双瓶颈
  • 通过算子融合与数据流重排减少片外内存访问次数
  • 在保持精度的同时显著降低 FPGA 资源(LUT/DSP)占用
  • 为边缘端低功耗 LLM 推理提供工程可行方案

2. HPIM:面向大模型推理的异构存内计算加速器

来源:cs.AR (arXiv)
链接:https://arxiv.org/abs/2509.12993
标签:存内计算 · LLM推理 · 内存墙 · 硬件加速器 · 异构计算

LLM 推理的核心瓶颈是内存带宽而非算力——模型权重频繁搬运造成严重的”内存墙”问题。HPIM 提出异构 Processing-In-Memory 架构,将矩阵向量乘法直接在 DRAM 内部执行,大幅削减数据移动开销。其异构设计将数字型 PIM 单元与模拟型存储阵列协同部署,在 Decode 阶段实现数倍于传统 GPU 的有效带宽利用率。

核心要点:

  • 存内计算架构从根本上绕过内存带宽瓶颈
  • 异构 PIM 单元针对 LLM Prefill/Decode 不同阶段分别优化
  • 显著降低片外数据搬运能耗,适合数据中心功耗约束场景
  • 与现有 LLM 推理框架兼容性设计考量

3. PyTorch Monarch 登陆 AMD GPU:ROCm 上的单控制器分布式训练

来源:PyTorch Blog
链接:https://pytorch.org/blog/bringing-pytorch-monarch-to-amd-gpus-single-controller-distributed-training-on-rocm/
标签:分布式训练 · PyTorch Monarch · AMD ROCm · 容错训练 · 大规模GPU

在千卡以上规模训练中,硬件故障已成常态而非例外。PyTorch Monarch 的单控制器架构将分布式协调逻辑集中管理,显著简化故障恢复流程。本文介绍如何将 Monarch 适配至 AMD ROCm 生态,打通 CUDA 之外的分布式训练路径,在容错性、调度效率方面给出了详细的工程实践总结。

核心要点:

  • Single-Controller 架构使故障检测和 checkpoint 恢复时间大幅缩短
  • AMD ROCm 适配打破了大规模训练对 NVIDIA 硬件的依赖
  • 统一了跨硬件平台的分布式训练编程模型
  • 实测展示了在 AMD GPU 集群上达到与 CUDA 相当的训练吞吐量

4. HiFA4:基于华为昇腾 NPU 的无训练4-bit FlashAttention LLM推理

来源:cs.AR (arXiv)
链接:https://arxiv.org/abs/2607.04302
标签:FlashAttention · 量化推理 · 昇腾NPU · 4-bit推理 · 算子优化

FlashAttention 通过 IO-aware 计算大幅提升 Attention 效率,而 HiFA4 在此基础上将 QK^T 和 PV 两个核心矩阵运算进一步压缩至 4-bit HIF4 精度,直接映射到昇腾 NPU 的 Cube 矩阵引擎执行。全程无需重新训练,仅通过算子级设计即可实现推理加速。

核心要点:

  • 将 FlashAttention 内核完整实现为 4-bit HIF4 Cube GEMM,无需任何重训练
  • 专门针对昇腾 NPU 硬件特性设计,充分利用其 Cube 矩阵引擎
  • 相比 FP16 FlashAttention 在内存带宽和计算延迟上均有显著提升
  • 为国产 AI 芯片(昇腾)上的低精度推理提供可复现的工程实践

5. TileLens:透明二维内存管理——突破LLM推理的HBM瓶颈

来源:cs.AR (arXiv)
链接:https://arxiv.org/abs/2607.04031
标签:HBM内存 · CXL · 内存管理 · LLM推理 · GPU内存扩展

GPU HBM 的容量限制是 LLM 大批次推理、长上下文处理的核心障碍。TileLens 提出透明二维内存抽象,将 CXL 扩展内存和 3D 堆叠 DRAM 作为 HBM 的无缝扩展层,对上层推理框架完全透明。通过细粒度 Tile 级别的数据放置策略,在有效扩大可用内存容量的同时尽量保持热数据在 HBM 上。

核心要点:

  • 透明二维内存抽象使推理框架无感知地利用 CXL/3D DRAM 扩展容量
  • Tile 级精细数据放置策略区分热/冷数据,减少 HBM 带宽压力
  • 支持更大 batch size 和更长 context window,提升推理系统吞吐
  • 与 vLLM、PagedAttention 等主流框架具有良好的兼容性设计

6. ProbeLogits:面向AI原生操作系统的内核级LLM推理原语

来源:cs.OS (arXiv)
链接:https://arxiv.org/abs/2604.11943
标签:AI原生OS · 内核推理 · 操作系统 · LLM原语 · 调度器

这是一个大胆的系统设计方向:让 OS 内核自身运行 LLM,并在 token 生成前直接读取 logit 分布,以此驱动内核调度和资源管理决策。ProbeLogits 定义了一套内核级 LLM 推理原语,使 AI 模型的推理信号成为 OS 的一等公民,为”AI 原生操作系统”提供了第一个具体的接口原语设计与实现原型。

核心要点:

  • 在 OS 内核中直接嵌入 LLM 推理能力,推理输出可直接用于内核决策
  • 新型 ProbeLogits 原语暴露 token 级推理信号给调度器/资源管理器
  • 开创了 AI 原生 OS 的系统设计路径,超越传统”AI 作为应用”的模式
  • 原型实现展示了内核级 LLM 推理对系统策略的实际影响

📊 今日速览

# 标题摘要 来源 方向
1 ELiTeFormer:FPGA高效Transformer框架 arXiv cs.AR FPGA推理优化
2 HPIM:异构存内计算LLM加速器 arXiv cs.AR 存内计算
3 PyTorch Monarch 登陆 AMD ROCm PyTorch Blog 分布式训练
4 HiFA4:昇腾NPU 4-bit FlashAttention arXiv cs.AR 量化推理
5 TileLens:CXL扩展GPU内存管理 arXiv cs.AR GPU内存扩展
6 ProbeLogits:内核级LLM推理原语 arXiv cs.OS AI原生OS

自动生成 · 2026-07-08 · jeffinchen daily tech reading list

评论