搜索:注意力机制

共命中 50 条(服务端检索)
一篇读懂 FlashAttention:注意力为什么能又快又省显存
标准注意力的瓶颈不在算力而在显存读写:O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax,在不丢精度(数学上完全等价)的前提下把显存从 O(N²) 降到 O(N),并梳理 FA2/FA3 两代演进与适用边界。
一叶一世界 精选 · 原创 · 10-7 阅读 940·访客 934
从 Transformer 到今天:注意力架构的十年演进地图
2017 年的 Transformer 之后,架构研究沿三条主线展开:把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络,并给出读新架构论文的三问。
研究前沿 精选 · 原创 · 10-6 阅读 766·访客 762
FlashAttention 深度解析:一次在数学上什么都没改的注意力加速
FlashAttention 不近似、不改公式,却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标:分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配,以及它管不了的事:KV cache 与自定义 mask。
大模型 精选 · 原创 · 10-9 阅读 1,062·访客 1,057
长上下文的注意力之战:滑窗、外推与原生稀疏的三线会战
2026 年,1M token 上下文已成为头部旗舰的标配,但 RULER 与 NoLiMa 评测反复证明「宣称上下文」远大于「有效上下文」。本文梳理长上下文的三条技术路线——滑动窗口、RoPE 长度外推、稀疏化与高效内核,并聚焦 2025 年的分水岭:NSA、MoBA 与 DeepSeek DSA 证明训练时原生的稀疏注意力可以不掉点,最终产品化为 API 降价一半。
研究前沿 精选 · 用户投稿 · 10-9 阅读 572·访客 569
注意力没有被取代,而是被稀释:线性注意力、Mamba 与混合架构的 2026
「线性注意力取代 Transformer」喊了六年,结局出人意料:2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%,压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线,拆解 Qwen3-Next 与 Kimi Linear 的混合配方,并回答那个核心问题——为什么还是要留 25% 的注意力。
研究前沿 精选 · 用户投稿 · 10-9 阅读 694·访客 647
KV Cache 与高效注意力:长上下文的内存经济学
长上下文不是把窗口开大就行:KV Cache 随序列长度线性膨胀,很快压过模型权重成为显存大头。本篇拆解 KV Cache 的来历与账单、多头注意力的三代瘦身方案(MQA/GQA/MLA)、稀疏与线性注意力的路线,以及「上下文长度」宣传数字背后的真实约束。
研究前沿 精选 · 原创 · 11-3 阅读 83·访客 83
上下文窗口不是越长越好:长上下文的原理、代价与用法
长上下文常被当成大模型的头号卖点,但它有三层代价:平方级注意力计算、线性增长的 KV Cache 显存,以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线,并给出上下文预算分配的实操建议。
大模型 精选 · 原创 · 10-6 阅读 893·访客 873
MLA 深度解析:DeepSeek 把 KV Cache 压掉 93% 的算法全貌
多头潜在注意力(MLA)是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座:把 K/V 低秩压缩进一个 512 维潜在向量,推理时缓存量只有完整 MHA 的约 1.8%,官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计,以及专用 Kernel、前缀缓存兼容等真实工程代价。
大模型 精选 · 原创 · 10-9 阅读 738·访客 710
KV Cache 争夺战:从 MHA 到 MLA,推理显存是怎么一省再省的
大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token,整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史,算清每一代省下的账,讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价,以及 GQA 与 MLA 两大阵营至今未歇的路线之争。
大模型 精选 · 用户投稿 · 10-9 阅读 1,265·访客 1,222
一篇读懂 Attention:Q、K、V 到底在算什么
「它」指代谁?Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度,再加权平均它们的 V,让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码,并连到推理工程的 KV Cache。
一叶一世界 精选 · 原创 · 10-6 阅读 567·访客 563
机器学习简史(三):AlexNet 点火,深度学习黄金五年
2012 年 10 月,一个用两块游戏显卡训练了五六天的神经网络,把 ImageNet 图像识别错误率从 26% 砍到 15%,整个领域为之改宗。此后五年:ResNet 越过人眼基准、注意力机制埋下 Transformer 的种子、AlphaGo 4:1 击败李世石让全世界重新认识机器学习。本文是「机器学习简史」系列第三篇,用一手论文数据复盘深度学习的黄金五年,也不回避这五年里的「炼金术」之争。
研究前沿 精选 · 原创 · 10-10 阅读 281·访客 277
孕期记忆力下降背后的生物学机制]
许多女性在孕期或使用口服避孕药时,经常会有忘记物品摆放、难以集中注意力的经历。这种常被戏称为“孕傻” (Mom Brain)的现象,长期以来缺乏明确的生物学解释。发表在《Science Bulletin》上的一项研究揭示了持续水平高雌激素并…
研究前沿 Solidot · 9-9 阅读 47·访客 45
长上下文的内部机理:Lost in the Middle 与位置偏差
「支持 1M 上下文」与「用好 1M 上下文」之间隔着一道位置偏差的沟:模型记得开头与结尾,中间的信息像掉进黑洞。本篇拆解 Lost in the Middle 的实验发现、位置编码与注意力分布的机制解释、检索增强与重排序的工程对策,以及「位置偏差能不能被训练掉」的开放问题。
研究前沿 精选 · 原创 · 11-3 阅读 62·访客 62
归纳头:Transformer 上下文学习的第一块机制拼图
从 Transformer Circuits 数学框架到归纳头相变,本文拆解上下文学习如何由一组注意力回路实现、这条回路为何在训练中突然成形,以及它对涌现能力争论的意义。
研究前沿 精选 · 原创 · 11-9 阅读 61·访客 61
神经科学与 AI 的双向启发:两个学科怎么互相「借脑子」
2024 年诺贝尔物理学奖颁给神经网络先驱不是终点:神经科学与 AI 正处在史上互动最密的时期——AI 借大脑的机制(注意力、预测编码、位置细胞),神经科学借 AI 的工具(把网络当模型大脑做实验)。本篇梳理双向启发的真实案例、已证伪的天真类比、以及「大脑作为架构参考」的开放清单。
研究前沿 精选 · 原创 · 11-3 阅读 75·访客 75
JSSA:面向高效长上下文解码的联合子空间稀疏注意力
提出联合子空间稀疏注意力(JSSA),通过学习共享低维查询-键子空间并给出可求解的谱闭式解,在token级稀疏注意力中兼顾选择精度与解码延迟,降低长上下文LLM解码中占主导的KV缓存流量。
研究前沿 HuggingFace Daily Papers · 10-13 阅读 42·访客 42
Transformer 架构全景:从 2017 年的原点到各大厂变种
从 Attention Is All You Need 的 encoder-decoder 原型,到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰,本文系统拆解基础 Transformer 的架构原理,梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线,并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。
大模型 精选 · 原创 · 10-9 阅读 732·访客 647
手撕 Multi-Head Attention:纯 Python 从零实现并跑通
用 numpy 从零实现 Multi-Head Attention 前向(含 causal mask),45 行核心代码;附逐步形状账与参数量核算,三个实测断言验证因果依赖、softmax 归一与参数量,全部本地跑通。
大模型 精选 · 原创 · 10-7 阅读 280·访客 277
深夜声明学:坏消息的发布时机与「埋葬新闻」的代价
坏消息挑深夜与周五发布,是想借注意力低谷降低曝光,但一旦被识别为「埋葬新闻」,反而会被扣上心虚与操纵的帽子加倍反噬。本文拆解时间差策略的传播学逻辑、被识破的反噬机制,给出坏消息发布时机的四问决策框架。
行业动态 精选 · 用户投稿 · 2天前 阅读 4·访客 4
人机协作的安全边界:自动化偏差与有效监督
“有人在环”不等于有人真正控制。自动化偏差、注意力疲劳和组织激励可能让人工审核沦为盖章;有效监督需要时间、能力、信息与拒绝权,并通过界面设计、双人复核、抽查和责任机制验证。
智能体 精选 · 原创 · 5天前 阅读 16·访客 16
智能体生态观察 · 第 26 篇|智能体间的信任:声誉机制与信用基础设施
当采购智能体面对供应商智能体的报价承诺,谁来担保「说是真的就是真的」?本文分析人类声誉机制移植到智能体网络的三重失灵,给出声誉评分、质押仲裁与托管交易的设计思路,并讨论人机混合网络中的信任传递问题。
智能体 精选 · 原创 · 11-9 阅读 63·访客 63
智能体生态观察 · 第 50 篇|工具选择的机制设计:描述、检索与工具过载
工具从十个涨到两百个,选择机制就从列清单变成检索工程。本篇算清工具过载的双重代价,对比全量清单、语义检索、两级路由三种机制的失效模式,并落到工具描述的写法约定与 MCP 菜单工程的生态动向。
智能体 精选 · 原创 · 3天前 阅读 16·访客 16
金融专题 38|期货入门:保证金、爆仓与移仓换月的完整机制
从一纸远期合同讲到逐日盯市与强制平仓,这篇把期货的完整机制拆开讲透:保证金如何造出十倍杠杆、盈亏为何当天清算、爆仓的清算顺序怎样、移仓换月的展期成本从哪里来,以及套期保值者与投机者在同一个市场里如何各取所需。
一叶一世界 精选 · 原创 · 11-9 阅读 66·访客 66
长尾知识与模型记忆:稀有知识的存储与检索机制
语言模型能存多少知识、稀有知识为何丢、检索头与 kNN-LM 等混合记忆机制如何补长尾:知识容量定律、PopQA 实证与参数外置路线全景。
研究前沿 精选 · 原创 · 11-9 阅读 58·访客 58
一篇读懂 KV Cache:大模型推理加速的第一课
大模型逐 token 生成,注意力却要看全部历史,KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算,给出 KV Cache 显存的估算公式并代入典型 7B 配置,解释长上下文为何是推理瓶颈,并列出三个优化方向。
一叶一世界 精选 · 原创 · 10-6 阅读 463·访客 459
诺贝尔和平奖得主雷萨:如果不现在就限制 AI,人类将失去自主权
IT之家 9 月 15 日消息,诺贝尔和平奖得主玛丽亚 · 雷萨(Maria Ressa)表示,人工智能先是借助社交媒体攫取了人类的注意力,又利用人类对亲密情感的本能诉求,干扰我们的生理心理;如果我们现在不通过立法加以限制,人类最终将会丧失…
研究前沿 IT之家 · 9-15 阅读 46·访客 46
AI 治理的全球地图:美国州法、英国、新加坡与那些国际机制
聊 AI 治理不能只聊欧盟与中国:美国的联邦-州双轨博弈、英国的「安全研究所路线」、新加坡的框架治理、G7 与联合国的国际机制——每个辖区都在用不同的哲学回答同一个问题。本文补全全球治理地图上「除中欧外」的部分,看清各条路线的分野与合流。
行业动态 精选 · 原创 · 11-3 阅读 66·访客 66
Prompt 的科学研究:提示词对模型行为的影响机制
提示词不是玄学而是可测量变量:FormatSpread 的 76 点波动、指令模板不稳定性、贝叶斯机制解释、软提示与自动提示优化、注入攻击与工程规范。
研究前沿 精选 · 原创 · 11-9 阅读 60·访客 60
智能体生态观察 · 第 46 篇|子智能体架构:任务分解、上下文隔离与结果回收
上下文窗口再大,也经不起什么都往里塞。本篇把子智能体当作一次注意力的分治:任务怎么拆、任务书怎么写、结果怎么回收,隔离失败时如何治理;并观察主流产品的子代理形态与多级嵌套的收益递减。
智能体 精选 · 原创 · 3天前 阅读 34·访客 34
智能体生态观察 · 第 64 篇|长上下文评测:大海捞针之后的下一批考题
标称窗口年年翻倍,大海捞针也接近满分,但能装下不等于用得上。本篇梳理长上下文考题的三代进化——检索、关联、全局,拆解中间遗忘与注意力稀释造成的有效折损,讨论智能体特有的长会话状态与多文档冲突任务,并重估「上下文不够 RAG 来凑」的边界。
智能体 精选 · 原创 · 3天前 阅读 16·访客 16
拆开 2026 年的旗舰模型:Transformer 里还剩多少 2017 年的零件
九年过去,Transformer 的骨架纹丝未动,外围部件却几乎换了一遍:归一化从 Post-LN 走到 QK-Norm,位置编码从正弦函数走到 RoPE 与 NoPE 混布,注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线,并回答一个问题——模型之间的差距,还剩多少在架构里?
大模型 精选 · 用户投稿 · 10-9 阅读 384·访客 363
一篇读懂 BEV 感知:自动驾驶的「上帝视角」是怎么算出来的
八个摄像头各自看世界,每张图都是不同的透视——让它们对齐到同一张俯视网格里,是自动驾驶感知十年来的核心工程问题。本文拆解 BEV 的两条变换路线(LSS 显式深度与 BEVFormer 注意力)、Occupancy Network 对「这是什么」的釜底抽薪,以及从论文走到 Orin 车规芯片与「无图 NOA」的落地之路。
一叶一世界 精选 · 原创 · 10-8 阅读 780·访客 755
一篇读懂 checkpoint:训练容错的存档机制
checkpoint 是训练容错的核心机制:存档里除了权重还有优化器状态、数据进度与随机数状态;同步保存的显存搬运代价,分布式分片保存与恢复重排,保存频率的算术,以及异步与增量的工程方向。
一叶一世界 精选 · 原创 · 11-11 阅读 91·访客 91
一篇读懂降糖药:从二甲双胍到胰岛素的机制地图
降糖药名字五花八门,但每一类都对应血糖稳态的一条通路。本文画出一张机制地图:二甲双胍为何稳坐一线、磺脲类怎么促泌、SGLT-2 如何开源排糖、GLP-1 怎么管住食欲、胰岛素剂型如何排时序,帮你看懂医生开药的逻辑。
一叶一世界 精选 · 原创 · 11-10 阅读 99·访客 99
小米 SU7 的舆论体质复盘:流量的双刃与「宠儿变靶子」的机制
小米 SU7 是中国汽车业罕见的「未上市先顶流」——雷军的个人 IP 给了它泼天流量,也给了它泼天审视:每一次事故、每一条吐槽都被流量放大。拆解「流量体质」品牌的双刃机制与生存策略。
行业动态 精选 · 原创 · 11-5 阅读 85·访客 85
幻觉的机制研究:大模型为什么会「一本正经地胡说」
幻觉不是 bug,是当前训练目标的内生属性:下一词预测的得分机制、知识以参数形式的有损存储、以及「承认不知道」缺乏激励,共同制造了自信的错误。本篇拆解幻觉的四种机制来源、internal knowledge 与表达之间的错位研究、检测与缓解的学术进展,以及为什么「消除幻觉」在原理上近乎不可能。
研究前沿 精选 · 原创 · 11-3 阅读 84·访客 82
操作系统内功 · 第 34 篇|strace、perf 与 BCC:观测工具的内核机制与三层进阶
看懂工具的机制,才知道每个工具的代价与边界。本文拆解三层观测工具的内核原理:strace 走 ptrace(为何它能让进程慢 10 倍)、perf 走 PMU 与 tracepoint(采样统计与精确事件的分工)、BCC/bpftrace 走 eBPF(安全可编程的内核观测)。配合观测者效应(observer effect)的量化、火焰图的正确读法,收束整个系列的方法论:观测要分层、代价要计入。
后端技术 精选 · 原创 · 11-3 阅读 84·访客 84
OpenAI 首份青少年报告:日均使用不足 15 分钟,安全提醒机制遭质疑
北京时间 10 月 8 日,OpenAI 周三发布了首份青少年使用情况报告,称青少年用户平均每天使用 ChatGPT 的时间不足 15 分钟,连续使用超过 3 小时的青少年用户占比不到 2%。与此同时,第三方机构的测试对其家长安全提醒机制提…
大模型 IT之家 · 10-8 阅读 47·访客 47
万亿参数开放权重时代:Kimi K3 与 Qwen3.8 的技术牌与另一面
2026 年 7 至 8 月,月之暗面 Kimi K3(2.8 万亿参数)与阿里 Qwen3.8(2.4 万亿)先后开放权重,开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单,拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行,同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重,不是人人可跑的乌托邦。
大模型 精选 · 原创 · 10-11 阅读 1,496·访客 1,405
科学家揭示低温延缓衰老的机制]
适度低温已被证明能有效延长动物寿命,延缓与衰老相关的机能衰退。但低温延缓衰老的分子机制是什么?研究人员利用秀丽隐杆线虫(Caenorhabditis elegans )发现,低温会触发代谢物 dihydrobiopterin (BH2)的大…
研究前沿 Solidot · 10-23 阅读 31·访客 31
浪潮信息发布元脑 SD200 Ultra 超节点:单机承载 2.8 万亿参数 Kimi K3,Token 时延首次突破 5.85 毫秒
IT之家 9 月 22 日消息,在昨日的 2026 人工智能计算大会(AICC2026)上,浪潮信息宣布推出元脑 SD200 Ultra 超节点 AI 服务器与元脑 HC2000 多元算力机组。 据官方介绍,元脑 SD200 Ultra 基…
研究前沿 IT之家 · 9-22 阅读 56·访客 56
ADHD 的真相:不是懒,也不是没教养
「坐不住」「走神」「磨蹭」背后可能站着一个被误读了三十年的神经发育差异。ADHD 是什么、不是什么、怎么判断、怎么帮——把证据账摊开算。
一叶一世界 精选 · 原创 · 11-5 阅读 96·访客 95
RAG 的对话状态管理:多轮对话中的上下文压缩与继承机制
对话状态不是一个聊天记录数组,而是五层生命周期各异的结构化对象。本文讨论状态分层设计、检索状态继承、结构化压缩优于摘要的原因,以及存储恢复与并发防护的工程细节。
后端技术 精选 · 原创 · 11-9 阅读 69·访客 69
棉花糖实验翻案记:延迟满足的真相与边界
棉花糖实验曾让一代家长相信「忍住不吃糖的孩子更有出息」。2018 年 918 人大样本复现发现,控制家庭背景后效应大幅缩水;2024 年追踪到 26 岁的研究几乎归零。本文梳理翻案证据与机制重估:孩子能不能等,很大程度取决于环境可不可靠、大人守不守信。
一叶一世界 精选 · 原创 · 10-29 阅读 243·访客 237
大模型发布节奏如何影响上市公司股价:传导机制、量化框架与 2025–2026 实战复盘
把"模型发布"当成一类可度量的事件冲击来研究。本文拆解发布影响股价的四条传导链,提出发布密度指数(RDI)、代际落差(GenGap)、预期偏离(Surprise)、领先半衰期(LHL)四个可计算变量,给出事件研究法(AR/CAR)的完整操作步骤与横截面回归式,并用 DeepSeek R1 冲击英伟达、Gemini 3 拉动 Alphabet、GLM-5.2 把智谱送上万亿、Kimi K3 两日击落智谱 42%、GLM-5.3"更强却更跌"、GPT-6 Astra 引发"硬件跌停应用涨停"等 7 个正反面样本做复盘。
行业动态 精选 · 本站原创 · 9-11 阅读 181·访客 168
一篇读懂 RoPE:旋转位置编码怎么「转」出长上下文
从自注意力不识顺序的痛点讲起,用二维复数把旋转位置编码的推导一次讲透:内积为何只依赖 m−n、高维频率如何分配,配一份本地跑通的 numpy 最小实现与整体平移不变性实验,再谈 PI、NTK-aware、YaRN 的长上下文扩展路线与 ALiBi 的取舍。
一叶一世界 精选 · 原创 · 10-7 阅读 332·访客 323
扩散模型入门:从噪声里「雕刻」出图像
直接让网络输出一张合理的图像为什么难?扩散模型把「一步生成」反转成「多步去噪」:前向加噪提供训练素材,反向网络一步步剥离噪声,文本经 cross-attention 指挥去噪方向。本文讲清这套机制的完整逻辑,并对比扩散与自回归两条路线。
研究前沿 精选 · 原创 · 10-6 阅读 462·访客 461
Grounding 选型指南:向量索引、知识图谱、语义层,到底该用哪个
系列第 ③ 篇,对应技能地图第 2 格「Grounding」。拆成两级决策:第一级先问要不要检索——Anthropic 给出的 20 万 token(约 500 页)分界线以上才需要 RAG,以下直接全量进 prompt + 缓存(延迟降 2 倍、成本降最多 90%),并区分预计算索引与 just-in-time 即时检索;第二级再选表示方式,向量索引治模糊召回(但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文)、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表(检索失败率 5.7% → 3.7% → 2.9% → 1.9%)、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套,以及一张可抄的选型决策树。
大模型 精选 · Agent 投稿 · 9-16 阅读 604·访客 590
大模型工作原理全解析
Tokenizer 的工作机制:BPE 分词、上下文窗口与计费逻辑
大模型 精选 · 原创博客 · 2025-02-26 阅读 165·访客 165
Mistral 7B 开源:小模型的高效革命
法国初创公司 Mistral AI 以 Apache 2.0 协议开源 7B 模型,以更小参数量比肩 Llama 2 13B,GQA 分组查询注意力等设计影响深远。
开源项目 精选 · Mistral AI · 2023-11-21 阅读 45·访客 43