「找出第 k 大」是生产系统里真实存在的需求——排行榜、热搜、监控告警都靠它，而排序是最诚实的暴力。本文讲透两条不排序的路：大小为 k 的小顶堆（流式场景的天然答案）与随机化三路快速选择（平均 O(n) 的原地解法），附 10^6 数据的本地实测对比，并说清「全相同元素」这个让固定 pivot 快选退化到 O(n²) 的经典陷阱是怎么被拆掉的。

「它」指代谁？Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度，再加权平均它们的 V，让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码，并连到推理工程的 KV Cache。

前缀和 + 哈希表

滑动窗口是双指针家族里最常用的范式，LeetCode 3 正是它的代表作。本文从 O(n³) 暴力讲起，靠「窗口内无重复」这条不变量把复杂度压到 O(n)，对比哈希表记下标与记计数两种收缩写法的取舍，拆解 abba、tmmzuxt 等经典陷阱用例，并把模板泛化到「至多包含 K 个不同字符」。

多头潜在注意力（MLA）是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座：把 K/V 低秩压缩进一个 512 维潜在向量，推理时缓存量只有完整 MHA 的约 1.8%，官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计，以及专用 Kernel、前缀缓存兼容等真实工程代价。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

70B 模型 FP16 要 140 GB 显存，量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下，代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则，以及「量化伤推理」争议的实测边界。

同一个模型，temperature 从 0.2 调到 1.2，可以从「背答案的图书馆员」变成「喝了两杯的诗人」——模型一个参数都没变，变的只是从概率分布里挑词的规则。本文拆解温度缩放的数学、top-k/top-p/min-p 三代截断哲学，以及 temperature 等于 0 也不保证确定这类反直觉的坑。

RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起，拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数，分析召回率、内存、延迟的三角权衡，给出按数据量分层的务实选型决策。

语义检索的第一步是把文本变成可比较的向量。本文从 one-hot 的困境讲到稠密向量的语义几何，手算一个余弦相似度的小例子，再用十几行代码演示从 encode 到 top-k 的完整流程，最后点出语义匹配最常见的两个坑。

「感觉变好了」不算数。本文把 RAG 评测拆成两层：检索层用 recall@k 与 MRR 定位漏检与排序问题，生成层用忠实度、答案相关性度量幻觉与跑题；给出 LLM-as-judge 的可靠用法与已知偏差、评测即 CI 的落地方式，以及一张「症状→病因→处方」速查表。

Agent 工程系统学习第 9 章：评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工，LLM-as-judge 的四类偏差与校准方法，pass^k 指标测量非确定性，轨迹评测捕捉过程性退化，分层回归测试与候选门禁，A/B 分桶与两比例 z 检验，以及连接改进闭环的数据飞轮。

Before invoking external tools, an agentic LLM must select among a K-way action space: executing a call, seeking clarifi…

Manuel Uth Sep 25, 2026 The White House has asked OpenAI and Anthropic to hold back new AI models from the U.K.'s AI Saf…

King Charles hosted a private summit Thursday with some of the most prominent names in AI and the U.K. government. ]

Air pollution is a serious public health risk, contributing to an estimated 30,000 deaths in the U.K. alone last year. D…

Large language model (LLM) agents increasingly rely on external skills, but routing user requests over large skill regis…

Layer dropout (a.k.a. stochastic depth) has been shown to enable faster training, higher accuracy, and robustness to zer…

Oct 12, 2026 Nano Banana Pro prompted by THE DECODER Long-running AI research agents can plateau despite additional comp…

2026 年 10 月 12 日，北京朝阳警方对宜信相关公司立案侦查，实控人唐宁等被采取刑事强制措施，距其宣布类固收产品停兑仅 143 天。本文以这起违约事件为教材，讲清四组债务金融核心概念：刚性兑付为何必然打破、资金池与期限错配如何埋雷、「净本金优先」方案背后的数学，以及违约后民事、破产、刑事三条处置路径各自的规则与结局。

As AI factories grow from megawatts to gigawatts, building them takes more than advanced computing. Open standards are h…

Microsoft president Brad Smith is calling for urgent regulation of AI, and his argument is that consumer products like m…

听雨* 2026-10-11 13:23:47 来源：量子位 听雨 发自 凹非寺 量子位 | 公众号QbitAI 今年7月，王虹、邓煜在费城国际数学家大会上拿下菲尔兹奖。 消息刷屏那几天，Anthropic员工Alek Dimitriev…

Astral（Ruff 团队）用 Rust 写的 uv，一个二进制替代 pip、venv、pyenv、Poetry、pipx 等一串工具：官方基准快 10 到 100 倍、通用锁文件、Cargo 式工作区。本文讲清它的快从哪来、锁文件与工作区机制、2026 年的采用现状，以及迁移时真正会踩的坑。

Epoch AI 估算公开人类文本有效存量约 300 万亿 token，按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半，以及 2026 年预训练数据策略的真实格局。

从取模分片的痛点讲起：普通哈希为什么一扩容就让几乎全部数据搬家；哈希环与虚拟节点如何把迁移量压到 1/N 并治住数据倾斜；再用可运行的对照代码，对照 Ketama、Dynamo 与 Redis Cluster 槽位方案的真实取舍。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

JetBrains 推出面向编码智能体的开源模型 Mellum2.1，总参数 12B、每 token 激活 2.5B，主要通过在真实软件环境中的强化学习带来提升，以 Apache 2.0 协议在 Hugging Face 发布，可自托管运行。

大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token，整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史，算清每一代省下的账，讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价，以及 GQA 与 MLA 两大阵营至今未歇的路线之争。

「线性注意力取代 Transformer」喊了六年，结局出人意料：2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%，压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线，拆解 Qwen3-Next 与 Kimi Linear 的混合配方，并回答那个核心问题——为什么还是要留 25% 的注意力。

懂车帝三台尊界 V800 连续重刹踩断刹车踏板支架，江淮汽车两日跌停、市值蒸发约 118 亿元，而评论区把话题交给了 9 月才走红的「奴工理论」。本文梳理事件事实与 1612 牛的技术争议，回到理论的源头 China GT 起火事故，讨论它的合理内核与两种滥用——真正的靶心是决策层的成本分配，而不是流水线上的工人。

2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%，2025 年 1 月 DeepSeek-R1 把整套方法开源复现，到 2026 年 10 月，推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线，拆解推理模型的完整炼成路径，也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。

2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。

现代大模型的百万上下文，几乎都建立在 2021 年的旋转位置编码与 2023 年的一系列外推算法之上。本文拆解位置插值、NTK-aware 缩放、YaRN 分段插值、LongRoPE 进化搜索这条演进线，核对 Llama、Qwen、DeepSeek 三类工程实践的真实做法，并对照 RULER/NoLiMa 的实测数字：宣称窗口与有效窗口的差距有多大。

混合专家（MoE）让模型参数量与计算量解耦，但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线，拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节，并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。

FlashAttention 不近似、不改公式，却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标：分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配，以及它管不了的事：KV cache 与自定义 mask。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

2026 年，1M token 上下文已成为头部旗舰的标配，但 RULER 与 NoLiMa 评测反复证明「宣称上下文」远大于「有效上下文」。本文梳理长上下文的三条技术路线——滑动窗口、RoPE 长度外推、稀疏化与高效内核，并聚焦 2025 年的分水岭：NSA、MoBA 与 DeepSeek DSA 证明训练时原生的稀疏注意力可以不掉点，最终产品化为 API 降价一半。

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

NVIDIA 联合普林斯顿大学和马里兰大学提出面向多轮 LLM 智能体的在线策略蒸馏方法 PivotOPD，训练智能体避免最致命的早期错误并在发生时恢复，在 ALFWorld、WebShop 和搜索问答任务上对 Qwen3-1.7B 与 Qwen3-8B 取得 13 个基线中的最佳平均成绩。

「北京」和「首都」没有一个字相同，计算机却能算出它们语义相近——秘密是把文字映射成高维空间里的向量，让语义关系变成几何关系。本文从 word2vec 的国王减男人加女人讲起，拆解上下文嵌入、余弦相似度、向量索引与套娃表示学习，并说清 embedding 在 2026 年模型版图里的位置与它的能力边界。

解码阶段的大模型是内存带宽问题：一次前向读完几十 GB 权重，却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证，修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。

一年时间，OpenAI 与英伟达、AMD、博通、甲骨文、微软签下约 1.4 万亿美元量级的算力承诺——芯片商既是供应商，又是投资人，如今还亲自组织债务融资。本文拆开这张交易网：每笔交易的结构与数字、资金怎么转圈、「循环融资」批评的正反双方，以及 2026 年 10 月最新登场的 500 亿美元私人信贷说明了什么。

GPT-3 有 1750 亿参数却不会「听懂指令」，InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习，让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。

2026 年 AI 教育拿到了迄今最强的证据：哈佛实验里 AI 导师组的学习增益超过面授主动学习的两倍，世界银行在尼日利亚测出约合两年常规进度的提升，Google 在塞拉利昂的 RCT 也有 0.26 个标准差。但三场研究全部由利益相关方资助、周期不超过一学期，而 MIT 的脑电研究与「护栏可绕过」的产品现实站在对面。本文梳理产品格局、证据攻防与中美政策两条路线。

DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

「这个元素我见过吗？」——这个问题哈希表要用全部 key 的内存来回答，布隆过滤器只需要每元素不到 10 个 bit：它可能把没见过的说成见过（1% 概率），但绝不会把见过的说成没见过。本文讲透它的位运算原理、误判率公式为什么准、为什么不能删除，以及 Chrome、Cassandra、Akamai 这些系统各自用它省了什么。

LIS 是子序列问题的祖师爷：O(n²) 的 DP 教你「以 i 结尾」的状态设计，O(n log n) 的贪心 + 二分教你「维护最有潜力的结尾」。tails 数组为什么不是 LIS 本身、严格递增该用 bisect_left 还是 bisect_right、怎么把一条真实的子序列还原出来、diff 工具为什么靠它对齐文本——一文讲透。

美国医学会 2026 年调查显示 81% 的医生已在工作中使用 AI，三年前这个数字是 38%；FDA 官方清单上的 AI 医疗器械授权已达 1614 条，瑞典 MASAI 随机对照试验最终结果登上了《柳叶刀》。但佛罗里达州一桩指控 ChatGPT 给出危险医疗建议的诉讼提醒所有人：AI 误诊时谁负责，至今没有判例答案。本文梳理临床证据、监管数据与责任真空这三条主线。