📰 2026-07-24 · 每日技术速递
今日精选 7 篇深度技术文章,覆盖 编译器 / 量化推理 / GPU 架构 / 硬件加速器 / 参数高效微调 / 内核安全。
1. Helion 登陆 TPU:迈向跨硬件的异构 Kernel 编写
来源:PyTorch Blog
链接:https://pytorch.org/blog/helion-on-tpu-towards-hardware-heterogeneous-kernel-authoring/
标签:Helion · 编译器 · TPU · Pallas · Kernel编写
Helion 是 PyTorch 推出的高层 DSL,用于编写性能可移植的机器学习 Kernel。团队与 Google 合作构建了 TPU 后端,将 Helion Kernel 编译为 Pallas,使同一份 Kernel 代码既能跑在 GPU 也能跑在 TPU 上。这标志着 PyTorch 生态在跨硬件异构编程上的关键一步,开发者不必再为每种加速器重写底层算子。
核心要点:
- Helion 作为高层 DSL,屏蔽底层硬件差异,实现 Kernel 的性能可移植性
- 新增 TPU 后端将 Helion Kernel 编译到 Google Pallas 中间层
- 同一份 Kernel 源码可在 GPU/TPU 间复用,大幅降低多硬件适配成本
2. 把 Nunchaku 4-bit 扩散模型推理带入 Diffusers
来源:Hugging Face Blog
链接:https://huggingface.co/blog/nunchaku-diffusers
标签:量化 · 4-bit · 扩散模型 · 推理加速 · Diffusers
Nunchaku 是基于 SVDQuant 技术的 4-bit 扩散模型推理引擎,现已集成进 Hugging Face Diffusers。它通过低秩分解吸收量化误差,在将权重与激活压至 4-bit 的同时保持图像生成质量,显著降低显存占用并加速推理,让高分辨率扩散模型可在消费级 GPU 上流畅运行。
核心要点:
- SVDQuant 用低秩分支吸收 4-bit 量化的离群值误差,兼顾精度与压缩率
- 权重和激活同时量化到 4-bit,显存占用与访存带宽大幅下降
- 原生集成 Diffusers,开发者可一行切换即享受量化推理加速
3. BaseRT:用 Apple M5 神经加速器打造顶级 LLM 推理
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.19438
标签:Apple M5 · LLM推理 · 矩阵单元 · 端侧加速 · GPU架构
Apple M5 世代引入了重新设计的 GPU 架构,每个核心都配备专用的神经加速器——片上矩阵单元。本文提出 BaseRT,充分利用这些暴露出来的矩阵单元来优化端侧 LLM 推理,在苹果芯片上实现同类最佳的推理吞吐与延迟表现。
核心要点:
- M5 GPU 每核内置专用神经加速器(片上矩阵乘单元)
- BaseRT 针对新矩阵单元重构推理算子调度,压榨硬件峰值算力
- 面向端侧 LLM 场景,实现苹果平台上同类最佳的推理性能
4. DGNA:通过微基准剖析 GPU NUMA 架构
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.19922
标签:GPU · NUMA · 微基准 · 访存性能 · 数据分析
GPU 凭借强大并行能力已成为多领域基础设施,但其内部 NUMA(非统一内存访问)特性对性能影响巨大却缺乏系统刻画。DGNA 通过精心设计的微基准与数据分析,逐层揭示 GPU NUMA 架构的访存延迟、带宽与跨域拓扑,为高性能 Kernel 优化提供了可量化的底层依据。
核心要点:
- 针对 GPU 内部 NUMA 拓扑设计系统化微基准测试套件
- 量化跨内存域的访存延迟与带宽差异
- 为分布式与大模型训练的访存优化提供实证指导
5. BRIM:负载均衡的双侧位串行稀疏推理加速器
来源:arXiv cs.AR
链接:https://arxiv.org/abs/2607.19431
标签:位串行 · 稀疏推理 · DNN加速器 · 负载均衡 · 硬件设计
位串行加速器利用比特级稀疏性降低 DNN 推理成本,但现有设计仅在单个操作数上挖掘稀疏,导致收益受限。BRIM 提出双侧位串行架构,同时利用权重与激活两侧的比特稀疏,并通过工作负载均衡机制解决稀疏分布不均带来的效率损失,显著提升推理能效。
核心要点:
- 双侧位串行:同时挖掘权重与激活的比特级稀疏性
- 工作负载均衡机制缓解稀疏分布不均导致的空闲
- 相较单侧方案在能效与吞吐上取得明显提升
6. LAARA:面向参数高效微调的层感知自适应秩分配
来源:arXiv cs.LG
链接:https://arxiv.org/abs/2607.19391
标签:LoRA · 参数高效微调 · 自适应秩 · PEFT · 大模型
低秩适配(LoRA)被广泛用于参数高效微调,但现有方法通常给每个 Transformer 层分配相同的适配秩,忽视了不同层的重要性差异。LAARA 提出层感知的自适应秩分配策略,根据各层的实际需求动态调整 LoRA 秩,在相同参数预算下取得更优的微调效果。
核心要点:
- 指出统一秩分配忽略了 Transformer 各层的重要性差异
- 按层动态分配 LoRA 适配秩,把参数预算花在刀刃上
- 在同等可训练参数量下提升微调质量
7. 隔离失效源自共享存储:页缓存侧信道泄漏的刻画与利用
来源:arXiv cs.OS
链接:https://arxiv.org/abs/2607.17518
标签:页缓存 · 侧信道 · 云隔离 · 内核安全 · SCA攻击
现代云平台在强软件隔离之上共享硬件资源以提升性能与利用率,但这种组合埋下隐患。本文系统刻画并利用了页缓存(page-cache)侧信道泄漏:即便存在软件隔离,共享存储层仍会因页缓存状态被跨租户观测而泄露信息,作者展示了具体的攻击利用路径并讨论缓解方向。
核心要点:
- 揭示软件隔离与共享硬件组合下的页缓存侧信道风险
- 页缓存状态可被跨租户观测,绕过软件层隔离边界
- 给出可行的攻击利用路径并探讨内核层缓解思路
📊 今日速览
| # | 标题摘要 | 来源 | 方向 |
|---|---|---|---|
| 1 | Helion 登陆 TPU:迈向跨硬件的 | PyTorch Blog | 编译器 |
| 2 | 把 Nunchaku 4-bit 扩散模 | Hugging Face Blog | 量化推理 |
| 3 | BaseRT:用 Apple M5 神经 | arXiv cs.AR | 端侧推理 |
| 4 | DGNA:通过微基准剖析 GPU NUM | arXiv cs.AR | GPU架构 |
| 5 | BRIM:负载均衡的双侧位串行稀疏推理加 | arXiv cs.AR | 硬件加速 |
| 6 | LAARA:面向参数高效微调的层感知自适 | arXiv cs.LG | PEFT微调 |
| 7 | 隔离失效源自共享存储:页缓存侧信道泄漏的 | arXiv cs.OS | 内核安全 |
自动生成 · 2026-07-24 · jeffinchen daily tech reading list
评论