← Reading List
📰 技术速递

技术速递 2026-04-30:LLM推理加速与分布式训练新进展

Tech多源前沿

涵盖 arXiv (cs.AR / cs.CL) 与 PyTorch Blog 最新进展,聚焦 LLM 推理硬件加速、量化、分布式训练及后训练机制研究。

Salca:稀疏感知长上下文注意力解码硬件加速器

来源:cs.AR / arXiv · 标签:LLM推理 · 硬件加速 · 长上下文

针对长上下文LLM推理中注意力解码的内存与计算瓶颈,提出利用注意力稀疏性的专用硬件加速器Salca,显著降低长序列解码延迟。

FusionCIM:融合驱动存内计算架构加速LLM推理

来源:cs.AR / arXiv · 标签:存内计算 · LLM推理 · 算子融合

提出算子融合驱动的存内计算(CIM)加速器架构,通过减少片外数据搬运实现高效可扩展的LLM推理加速。

1.58比特LLM推理的查找表加速器硬件生成与探索

来源:cs.AR / arXiv · 标签:量化推理 · BitNet · 硬件设计 · FPGA

探索BitNet b1.58三值量化的LLM推理专用硬件,通过基于查找表的乘法替代方案绕过内存带宽瓶颈,提出自动化硬件生成框架。

AHASD:移动端LLM自适应草稿推测解码异构架构

来源:cs.AR / arXiv · 标签:推测解码 · 移动端推理 · 异构计算

面向移动端的LLM推测解码框架,通过异构CPU/GPU/NPU协同与自适应草稿策略,在资源受限设备上实现高效LLM推理加速。

AutoSP:自动序列并行化,让长上下文训练一行代码搞定

来源:PyTorch Blog · 标签:分布式训练 · 序列并行 · PyTorch · 长上下文

PyTorch官方推出AutoSP,能自动将标准Transformer训练代码转换为支持序列并行的长上下文LLM训练代码,由UIUC、Anyscale、Snowflake联合研发。

Flight Recorder:NCCL Watchdog超时诊断新利器

来源:PyTorch Blog · 标签:分布式训练 · NCCL · 调试工具 · PyTorch

PyTorch新工具Flight Recorder为大模型训练中常见的NCCL通信超时问题提供系统性诊断视角,帮助工程师快速定位分布式训练挂起根因。

强化学习为何能泛化?LLM后训练的特征级机制研究

来源:cs.CL / arXiv · 标签:强化学习 · 后训练 · 机制可解释性 · LLM

从特征层面机制性研究RL后训练在LLM中的泛化现象,揭示RL为何能让模型推理能力超越训练分布,为后训练策略设计提供理论依据。

评论