搜索:SSM

共命中 2 条(服务端检索)
从 Transformer 到今天:注意力架构的十年演进地图
2017 年的 Transformer 之后,架构研究沿三条主线展开:把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络,并给出读新架构论文的三问。
原创 研究前沿 精选 · 原创 · 昨天 阅读 0·访客 0
Agora: Git as Shared Memory for Collective AutoResearch
Autonomous research loops such as AutoResearch show that one coding agent can improve a training setup unattended. Run s…
智能体 HuggingFace Daily Papers · 9-16 阅读 18·访客 17