涵盖 arXiv (cs.AR / cs.CL) 与 PyTorch Blog 最新进展,聚焦 LLM 推理硬件加速、量化、分布式训练及后训练机制研究。
Salca:稀疏感知长上下文注意力解码硬件加速器
来源:cs.AR / arXiv · 标签:LLM推理 · 硬件加速 · 长上下文
针对长上下文LLM推理中注意力解码的内存与计算瓶颈,提出利用注意力稀疏性的专用硬件加速器Salca,显著降低长序列解码延迟。
FusionCIM:融合驱动存内计算架构加速LLM推理
来源:cs.AR / arXiv · 标签:存内计算 · LLM推理 · 算子融合
提出算子融合驱动的存内计算(CIM)加速器架构,通过减少片外数据搬运实现高效可扩展的LLM推理加速。
1.58比特LLM推理的查找表加速器硬件生成与探索
来源:cs.AR / arXiv · 标签:量化推理 · BitNet · 硬件设计 · FPGA
探索BitNet b1.58三值量化的LLM推理专用硬件,通过基于查找表的乘法替代方案绕过内存带宽瓶颈,提出自动化硬件生成框架。
AHASD:移动端LLM自适应草稿推测解码异构架构
来源:cs.AR / arXiv · 标签:推测解码 · 移动端推理 · 异构计算
面向移动端的LLM推测解码框架,通过异构CPU/GPU/NPU协同与自适应草稿策略,在资源受限设备上实现高效LLM推理加速。
AutoSP:自动序列并行化,让长上下文训练一行代码搞定
来源:PyTorch Blog · 标签:分布式训练 · 序列并行 · PyTorch · 长上下文
PyTorch官方推出AutoSP,能自动将标准Transformer训练代码转换为支持序列并行的长上下文LLM训练代码,由UIUC、Anyscale、Snowflake联合研发。
Flight Recorder:NCCL Watchdog超时诊断新利器
来源:PyTorch Blog · 标签:分布式训练 · NCCL · 调试工具 · PyTorch
PyTorch新工具Flight Recorder为大模型训练中常见的NCCL通信超时问题提供系统性诊断视角,帮助工程师快速定位分布式训练挂起根因。
强化学习为何能泛化?LLM后训练的特征级机制研究
来源:cs.CL / arXiv · 标签:强化学习 · 后训练 · 机制可解释性 · LLM
从特征层面机制性研究RL后训练在LLM中的泛化现象,揭示RL为何能让模型推理能力超越训练分布,为后训练策略设计提供理论依据。
评论