← Reading List
📰 技术速递

技术速递 2026-04-06:Mamba架构、分布式系统与RAG优化前沿

Tech多源前沿SSM分布式系统RAG

本期精选

本期技术速递涵盖 7 篇深度技术文章,聚焦以下方向:

  • 模型架构:Mamba/SSM 详解,理解后 Transformer 时代的新范式
  • ML 理论:几何深度学习的数学基础;文本嵌入的信息完备性实证
  • 系统性能:100Gbps 单机网络入侵防御;Delos 虚拟共识
  • 算法:学习型排序算法
  • RAG 优化:Proxy-Pointer RAG,向量检索的成本突破

1. Mamba Explained

来源:The Gradient | 阅读原文

深入解析 Mamba 架构——State Space Model (SSM) 的突破性实现。Mamba 以线性时间复杂度替代 Transformer 的二次注意力机制,在语言建模任务上展现出与 Transformer 相当甚至更优的性能。核心设计亮点:输入依赖的门控机制(Selective SSM)、硬件感知的并行扫描算法,以及如何在长序列建模中实现真正的亚二次复杂度。

关键词:SSM Mamba 架构改进 长序列建模


2. Shape, Symmetries, and Structure: The Changing Role of Mathematics in ML

来源:The Gradient | 阅读原文

探讨几何深度学习如何重塑 ML 的数学基础。梳理了对称性、不变性与等变性在现代神经网络设计中的关键作用:从 CNN 的平移不变性,到 GNN 的置换不变性,再到 Transformer 的序列建模。为什么理解群论和微分几何对构建更高效的模型至关重要。

关键词:几何深度学习 对称性 ML理论 数学


3. Do Text Embeddings Perfectly Encode Text?

来源:The Gradient | 阅读原文

实证研究文本嵌入的信息完备性问题。通过受控实验发现:SBERT、OpenAI Embedding 等在捕获数字信息、否定关系、细粒度时态区分等场景时存在系统性盲区,对 RAG 系统的召回质量有直接影响。文章提出了诊断和缓解方案。

关键词:文本嵌入 RAG 语义搜索 评测


4. Achieving 100Gbps Intrusion Prevention on a Single Server

来源:Morning Paper | 阅读原文

单台服务器实现 100Gbps 线速 IDS/IPS 的系统设计精华:DPDK 绕过内核网络栈、CPU 核心专用化、深度包检测的 SIMD 向量化、Hyperscan 正则引擎。对构建高性能数据平面处理系统(包括 LLM 推理服务网络 I/O 优化)具有参考价值。

关键词:系统性能 DPDK 数据平面 高性能网络


5. Virtual Consensus in Delos

来源:Morning Paper | 阅读原文

Facebook Delos 分布式日志系统:将共识协议与日志存储解耦,允许不停机迁移共识实现(ZooKeeper → LogDevice)。代表了大规模生产系统”可演化性”架构设计的最佳实践。

关键词:分布式系统 共识协议 Delos Meta


6. The Case for a Learned Sorting Algorithm

来源:Morning Paper | 阅读原文

学习型排序算法:利用数据分布先验,将排序复杂度从 O(n log n) 优化至接近 O(n)。与”学习型索引”一脉相承,代表将 ML 嵌入系统底层的新范式。

关键词:学习型算法 排序 系统ML


7. Proxy-Pointer RAG: Achieving Vectorless Accuracy at Vector RAG Scale

来源:Towards Data Science | 阅读原文

新型 RAG 架构:粗粒度向量检索 + 精细指针重排序,以约 1/3 存储成本超越标准 Dense RAG,在多个 QA 基准上达到精确匹配级别召回质量。

关键词:RAG 检索增强 向量数据库 成本优化

评论