← Reading List
📰 技术速递

长上下文·存内计算·FPGA加速·LLM Agent工具生成

TecharXiv前沿

📰 2026-07-11 · 每日技术速递

今日精选 7 篇深度技术文章,覆盖长上下文扩展、测试时算力分配、存内计算推理、隐空间解码、光纤存储架构、FPGA神经加速、LLM Agent工具生成。


1. Jet-Long:动态双焦点 RoPE 实现高效长上下文扩展

来源:cs.LG
链接:https://arxiv.org/abs/2607.07740
标签:长上下文 · RoPE · 推理加速 · Transformer · 位置编码

本文提出 Jet-Long 方法,通过动态双焦点 RoPE(旋转位置编码)机制,在不大幅牺牲短上下文性能的前提下,将语言模型的有效上下文窗口显著扩展。该方法基于双焦思想,对近端和远端 token 分别采用不同缩放策略,从而在长序列推理时兼顾局部精度与全局覆盖。实验表明,Jet-Long 在多个长文档基准上优于现有 RoPE 变体,且计算开销极低。

核心要点:

  • 提出双焦动态 RoPE,分区段处理近端/远端位置编码,避免频率崩塌
  • 无需重新预训练,仅需少量微调即可将上下文从 4K 扩展至 128K+
  • 在 LongBench、Needle-in-a-Haystack 等基准上取得当前最优结果
  • 推理时内存占用与标准 RoPE 持平,无额外显存开销

2. 选择性左移:测试时算力与难度感知筛选提升推理能力

来源:cs.LG
链接:https://arxiv.org/abs/2607.07748
标签:测试时计算 · 难度采样 · 推理链 · 大模型 · 数据筛选

该论文探索如何在推理阶段为困难样本分配更多计算资源,提出选择性左移策略:对模型判定为高难度的问题,在 test-time 额外展开更多推理步骤,同时利用难度感知的数据筛选策略优化训练分布。这一方法在数学推理和代码生成基准上均有显著提升,验证了难题多算、易题少算的自适应计算分配思路。

核心要点:

  • 提出难度驱动的测试时计算分配策略,困难问题获得更多推理预算
  • 结合基于难度的训练数据筛选,提高模型对高难度分布的覆盖
  • 在 MATH、GSM8K、HumanEval 等基准上实测准确率显著提升
  • 与 Best-of-N 和 beam search 等方法正交,可组合使用

3. CRIMP:面向存内计算交叉棒阵列的高效可靠 DNN 推理

来源:cs.AR
链接:https://arxiv.org/abs/2607.08015
标签:存内计算 · 神经网络加速 · 交叉棒阵列 · 硬件推理 · 可靠性

CRIMP 提出了一种针对基于 Crossbar 阵列的存内计算架构的 DNN 推理优化框架。该工作同时解决了 crossbar 阵列的非理想特性(噪声、器件变异)和计算压缩问题,通过对齐感知的量化和冗余映射策略,在保证推理精度的同时大幅提升吞吐和能效。

核心要点:

  • 提出 Crossbar 对齐感知的量化方案,显著降低器件噪声对精度的影响
  • 冗余映射策略提升 PIM 阵列的容错可靠性,无需硬件额外冗余
  • 在多种 CNN/Transformer 模型上实现 2-4x 推理加速,能效提升 3x
  • 方法对多种 ReRAM/SRAM PIM 架构均适用

4. 隐式解码扩展:大语言模型的潜空间计算扩展

来源:cs.CL
链接:https://arxiv.org/abs/2607.08186
标签:大模型 · 隐空间 · 解码策略 · 推理 · 计算扩展

本文提出在 LLM 解码阶段于隐空间中执行额外计算步骤,而非仅依赖 token 级自回归展开。通过在隐层引入可训练的潜在计算模块,模型能在不增加输出 token 数的前提下提升复杂推理能力。该方法为 test-time compute scaling 提供了一种正交思路,在代码和数学推理任务上取得明显增益。

核心要点:

  • 隐空间计算扩展无需额外 token,推理延迟增加可控
  • 可训练潜在计算模块与现有 LLM 架构兼容,微调成本低
  • 与 CoT、BoN 等 token 层面扩展策略互补,可叠加使用
  • 在 HumanEval+、MATH 等难推理任务上验证了有效性

5. 谁还需要 DRAM?光纤即内存

来源:cs.AR
链接:https://arxiv.org/abs/2607.08407
标签:光互连 · 内存架构 · 光纤 · 计算机体系结构 · DRAM替代

该论文探讨了以光纤互连直接替代 DRAM 的激进内存架构方案。通过分析光纤的超高带宽和极低传输延迟特性,作者构建了可行性分析框架,论证在特定计算场景(大规模 AI 推理、HPC)下,光纤存储架构在能效比和带宽密度上可超越传统 DRAM。这是对未来数据中心内存层级结构的大胆前瞻。

核心要点:

  • 系统分析光纤互连替代 DRAM 的带宽、延迟、能效三维可行性
  • 提出光纤存储架构原型设计,目标场景为 AI 推理与 HPC 工作负载
  • 带宽密度可达 DRAM 的 10-100x,适合大模型 KV Cache 访问模式
  • 讨论了实现挑战:光电转换成本、集成复杂度和延迟下界

6. FPGN:基于差分权重的超快速可编程门控神经加速

来源:cs.AR
链接:https://arxiv.org/abs/2607.08427
标签:FPGA · 神经网络加速 · 可编程硬件 · 差分量化 · 推理硬件

FPGN 提出了一种全新的 FPGA 神经网络加速范式,利用差分权重将乘法运算转化为加减法,充分利用 FPGA 查找表(LUT)资源实现超高速度推理。相比传统 FPGA DNN 加速器,FPGN 在能效和延迟上均有显著提升,尤其适合边缘推理场景。

核心要点:

  • 差分权重编码将浮点乘加替换为整数加减,大幅降低 FPGA 逻辑消耗
  • 推理速度相比传统 FPGA 加速器提升 5x 以上,功耗降低显著
  • 支持 CNN 和轻量级 Transformer,具备较好的模型通用性
  • 面向边缘设备场景设计,与 TinyML 工作流兼容

7. 低延迟系统中的工具创建与 LLM 自进化 Agent

来源:cs.CL
链接:https://arxiv.org/abs/2607.08010
标签:LLM Agent · 工具生成 · 自进化 · 低延迟 · 代码生成

本文研究在低延迟约束的真实系统中部署 LLM Agent,使其能够动态创建和复用工具(函数、脚本)。提出的自进化框架允许 Agent 在任务执行过程中不断积累工具库,并通过工具版本管理和质量筛选机制保证工具质量。在多个工具使用基准上验证了该框架对任务成功率和推理效率的双重提升。

核心要点:

  • Agent 可在任务中动态生成并注册新工具,工具库随经验累积持续扩展
  • 引入工具版本控制与质量评估机制,自动淘汰低质量工具
  • 在低延迟约束下维持高任务成功率,工具复用率超 60%
  • 框架与主流 LLM(GPT-4、Claude、Llama)均兼容

📊 今日速览

# 标题摘要 来源 方向
1 Jet-Long:动态双焦点 RoPE 实现高效长上下文扩展 cs.LG 长上下文/位置编码
2 选择性左移:测试时算力与难度感知筛选提升推理能力 cs.LG 推理加速/测试时算力
3 CRIMP:面向存内计算交叉棒阵列的高效可靠 DNN 推理 cs.AR 硬件加速/存内计算
4 隐式解码扩展:大语言模型的潜空间计算扩展 cs.CL 大模型推理/解码策略
5 谁还需要 DRAM?光纤即内存 cs.AR 体系结构/下一代存储
6 FPGN:基于差分权重的超快速可编程门控神经加速 cs.AR FPGA/可编程硬件加速
7 低延迟系统中的工具创建与 LLM 自进化 Agent cs.CL LLM Agent/工具使用

自动生成 · 2026-07-11 · jeffinchen daily tech reading list

评论