从自注意力不识顺序的痛点讲起，用二维复数把旋转位置编码的推导一次讲透：内积为何只依赖 m−n、高维频率如何分配，配一份本地跑通的 numpy 最小实现与整体平移不变性实验，再谈 PI、NTK-aware、YaRN 的长上下文扩展路线与 ALiBi 的取舍。

现代大模型的百万上下文，几乎都建立在 2021 年的旋转位置编码与 2023 年的一系列外推算法之上。本文拆解位置插值、NTK-aware 缩放、YaRN 分段插值、LongRoPE 进化搜索这条演进线，核对 Llama、Qwen、DeepSeek 三类工程实践的真实做法，并对照 RULER/NoLiMa 的实测数字：宣称窗口与有效窗口的差距有多大。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

编码智能体 2026 年进入平台化竞争：Claude Code 做成插件平台，Codex 绑定 ChatGPT 订阅铺开全端，Cursor 深耕 IDE 体验，Gemini CLI 以免费额度换生态，Aider 求极简、OpenHands 转做智能体控制中心。本文以官方定价与文档为口径横评六款工具，给出场景化选型建议。

Agent 工程系统学习第 13 章（前沿专题）：三个高薪高门槛方向。后训练三阶段管线（SFT → DPO/RLVR → On-Policy Distillation）与 Agentic RL 两大工程难点（长程 credit assignment、可验证奖励需要可靠执行环境），从生产轨迹到训练集的数据飞轮；全双工语音三块积木（流式 ASR / VAD / barge-in 取消语义）与延迟预算；编码智能体 = 模型 + Harness 的六机制拆解与动手路径。

★58,992、AGPL-3.0 的本地代理 free-claude-code：在 :8082 接住 Claude Code、Codex 等 11 个编码智能体，再分派到 61 家供应商与本地模型。拆解双协议入站、四档模型映射、有序 fallback 与流式四态恢复，以及 Python 3.14.7 锁版本、密钥集中等真实边界。

向量检索毫秒级出结果却常常「差一口气」，交叉编码器足够准却快不起来——Reranker 用两阶段管线把两者拼在一起：先粗召回 50-100 条，再精排挑出 5-10 条。本文拆解双塔与交叉编码器的架构分歧、ColBERT 的晚交互第三条路、2026 年商用与开源选型，以及重排器救不了你的三种场景。

大语言模型只认 token 序列，图片如何进入对话？本文拆解视觉语言模型的三块积木：把图像切块编码的 ViT、对齐两种向量空间的投影层，以及图文对三阶段训练配方，并解释视觉幻觉与计数失准这些特有失败的架构根源。

Google 因地理位置数据处理被爱尔兰数据保护委员会（DPC）罚款 4.03 亿欧元。DPC 对 Google 的调查持续了六年，涉及 Google 在 2018 年 5 月 25 日至 2020 年 2 月 4 日间 Web & App…

IT之家 9 月 14 日消息，荣耀产品维护与升级 @荣耀小芳哥 今日分享了荣耀笔记本 9 月升级内容，主要升级了 YOYO Claw 等功能。 IT之家整理如下： YOYO Claw 体验优化升级 提供专业的编码能力，方便用户基于 YOY…

从叠加假说、稀疏自编码器到归因图，机械可解释性在 2026 年第一次跑进生产线：Anthropic 能画出 Claude 的思维回路，OpenAI 从 GPT-4 抽出 1600 万特征，Goodfire 本周把内部探针做成低价监测产品。本文梳理核心进展、落地场景与「SAE 是否找到真实特征」的根本性质疑。

263k 星的「agent harness 操作系统」ECC（当日涨星 837、MIT）：68 子代理/292 技能/94 命令 + instinct 置信度学习 + 跨 harness 适配 + AgentShield 配置安全扫描。拆解五层架构、instinct 闭环与上下文预算取舍，含五个落地场景与可复现命令。

JetBrains 推出面向编码智能体的开源模型 Mellum2.1，总参数 12B、每 token 激活 2.5B，主要通过在真实软件环境中的强化学习带来提升，以 Apache 2.0 协议在 Hugging Face 发布，可自托管运行。

Browser Use 开源的会话式视频剪辑技能包 video-use（当日涨星 +745、★26,450、MIT）：不让模型看像素，只让它读 12KB 词级转写文本 + 按需抽查画面，配合 12 条硬规则与 EDL 驱动的 ffmpeg 确定性渲染管线。拆解两条读入通道、六步流水线与自评回路，附五个落地场景与成本口径。

零样本语音克隆只需约 6 秒参考音频：说话人编码器把音色压成一个向量，再去条件化 TTS 生成——XTTS 一条路是「嵌入式克隆」，OpenVoice 一条路是「合成后换色」。本文拆解两条技术路线的原理、效果边界，以及这道技术必须面对的滥用与合规问题。

IT之家 9 月 29 日消息，随着 AI 模型竞赛持续升温，Anthropic 推出了旗下中端模型 Sonnet 的最新版本。该公司表示，新版模型运行速度会快得多，使用成本也较上一代大幅降低。 IT之家注意到，这家实验室将 Sonnet …

韩国7家金融企业遭黑客攻击，CrowdStrike称攻击者疑似使用ARTEX渗透测试工具和Claude Code并因生成简历泄露个人信息，嫌疑人身份尚未确定。

「北京」和「首都」没有一个字相同，计算机却能算出它们语义相近——秘密是把文字映射成高维空间里的向量，让语义关系变成几何关系。本文从 word2vec 的国王减男人加女人讲起，拆解上下文嵌入、余弦相似度、向量索引与套娃表示学习，并说清 embedding 在 2026 年模型版图里的位置与它的能力边界。

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

一位亲手写下 DeepSeek V4.1 主 Attention 算子的工程师公开判断：AI 将在半年到一年内追平顶级人类算子工程师。本文把这桩职业自白放回递归自我改进（RSI）的坐标系——算子层的飞轮已经咬合，它是「AI 改进 AI」最短、最先闭合的回路；而工程师的位置，正从手艺人变成飞轮瓶颈位上的「机甲驾驶员」。

AI 写代码引入了三类新安全面：约两成 AI 建议的包名并不存在（攻击者开始抢注这些「幻觉包名」，术语叫 slopsquatting）、仓库里的恶意注释能劫持编码智能体、生成代码自带老漏洞。本文拆解三类风险的机制与防御清单。

IT之家 10 月 2 日消息，腾讯 WorkBuddy 今日宣布内置模型独家支持 Space Bunny。 据介绍，Space Bunny 是一款**匿名 Flash 大模型**，具备极速推理、强大的编码能力，原生支持文本、图像、视频输入…

给已有 Agent 框架做 RL 后训练，通常要把业务逻辑重写成训练代码。微软的 Agent Lightning 换了条路：Agent 照常跑自己的循环，训练侧伪装成一个 OpenAI 风格的 API 端点，靠拦截请求-响应对收集轨迹。v1.0 技术报告里，Qwen3.5-9B 编码 Agent 在 SWE-bench Verified 上从 41.8% 提到 56.4%。本文拆解它的架构、算法与社区争议。

闻乐* 2026-10-09 15:11:55 来源：量子位 答不答得对，得看Token站位 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI DeepSeek的神鬼二象性被字节Seed团队逮到了。 同一道题，什么都没改，只在前面多塞…

鹭羽* 2026-10-01 23:06:30 来源：量子位 用ImageNet训练encoder 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 教会AI做ARC抽象推理题的，竟然是猫猫？ 何恺明团队最新论文提出了**NAT-AR…

用不到百行纯标准库 Python 手撕 BPE 分词器：训练学合并表与编码贪心重放两个阶段拆开讲，小语料实测编码—解码往返一致，再用反例展示预分词正则为什么必不可少，最后对照 GPT-2 与 cl100k 的字节级 BPE、special token 与数字切分。

纯向量检索抓不住型号、缩写这类精确术语。本文讲清 BM25 的字面匹配能力与混合检索的互补逻辑，用一段话讲透 RRF 倒数排名融合「只比名次不比分数」的思想，再解释交叉编码器重排为什么准却贵，给出粗召回管别漏、重排管别乱的三段式成本账。

阿里把内部跑了两年的 AI 代码评审助手开源为 open-code-review（当日涨星 2,724、★36,575、Apache-2.0）：确定性工程 + LLM Agent 混合管线，含六道文件闸门、语义分组、三层记忆压缩与评论定位。AACR-Bench 同模型下 F1 为通用 Agent 的 1.5–2 倍、token 约 1/9，代价是召回更低。附五个落地场景与可复现命令。

Android/Kotlin 生态基石人物 Jake Wharton（Retrofit、OkHttp 作者，Google Kotlin 团队第一位工程师）在 KotlinConf'26 访谈中公开表态：找工作的第一条标准就是"不碰 AI"，直接排除约 80% 的雇主，且至今从未用 AI Agent 写过代码。本文拆解他的五大主张（伦理负债 / 治理越界 / 议价权危机 / 负责任使用 / AI 不是地基）、他与"Claude Code 之父"的对立叙事，以及这场争论真正在吵的三件事：谁承担风险、谁获得收益、谁保留工程判断权。

转写成文字只是「听见」，音频理解的野心是「听懂」：环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方（音频编码器 → 语义 token → LLM）、开源代表 Qwen 系与评测基准 MMAU/AudioBench，以及它正在替代的旧管线。

用 numpy 从零实现 Multi-Head Attention 前向（含 causal mask），45 行核心代码；附逐步形状账与参数量核算，三个实测断言验证因果依赖、softmax 归一与参数量，全部本地跑通。

微软 Rust 工具团队首席工程师 Victor Ciura 在本周举行的 RustConf 大会宣布，微软已将 Rust 语言指定为“一级（Tier One）”支持语言，与 C++、C# 和 TypeScript 处于同一位置。Ciura…

美国军方正在禁用设备上的广告追踪功能，防止敌人借助于购买的公开追踪数据去锁定美国士兵的位置。此前有报道称，商业追踪数据被用于锁定驻扎在中东的美军。美国陆军在一份声明中表示，Windows PC 上的广告 ID 功能早在 2021 年之前就被…

OpenAI 发布 GPT-5，将快速响应与深度推理统一到一个系统内自动路由，在编码、数学、多语言与幻觉抑制上全面提升，并大幅加强 Agentic 任务能力。

一份可直接照做的 Jev 实操手册（2026-09-22）：从 state/questions/answers 三件套与 Choice/Score/Noul 三种原语讲起，给出 state 设计、置信度三档路由与阈值标定，Speculative fan-out 与 Composite scoring 两大模式，四个生产级配方（客服分诊 / Agent 工具护栏 / 模型路由 / 上下文压缩），并逐条拆解官方披露的九类失败模式，附成本、限流、版本管理与一页速查表。

解码阶段的大模型是内存带宽问题：一次前向读完几十 GB 权重，却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证，修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。

2026 年，1M token 上下文已成为头部旗舰的标配，但 RULER 与 NoLiMa 评测反复证明「宣称上下文」远大于「有效上下文」。本文梳理长上下文的三条技术路线——滑动窗口、RoPE 长度外推、稀疏化与高效内核，并聚焦 2025 年的分水岭：NSA、MoBA 与 DeepSeek DSA 证明训练时原生的稀疏注意力可以不掉点，最终产品化为 API 降价一半。

多头潜在注意力（MLA）是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座：把 K/V 低秩压缩进一个 512 维潜在向量，推理时缓存量只有完整 MHA 的约 1.8%，官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计，以及专用 Kernel、前缀缓存兼容等真实工程代价。

长上下文常被当成大模型的头号卖点，但它有三层代价：平方级注意力计算、线性增长的 KV Cache 显存，以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线，并给出上下文预算分配的实操建议。

2017 年的 Transformer 之后，架构研究沿三条主线展开：把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络，并给出读新架构论文的三问。

paperclipai 开源的智能体编排控制平面 Paperclip（当日涨星 +2,589、★87,097、MIT）：把 Claude Code、Codex、Cursor 等 agent 变成有职位、汇报线、预算与审批的「公司员工」。拆解心跳执行模型、单指派原子 checkout、MCP 工具网关与任务看门狗，附五个落地场景与可复现命令。

量子位的朋友们* 2026-09-24 16:20:12 来源：量子位 人类演示一次，机器人即可实现跨场景任务复用 一直以来，要让机器人学会一项新任务，往往需要重新采集数据、编写固定流程，或进行针对性训练。这类方式可以解决确定性较高的任务…

拆解 GitHub 14.4 万星开源技能 Ponytail（MIT，2026-06-12 创建）：7 级决策阶梯、lite/full/ultra 三档强度、跨 20+ 编程智能体宿主的适配工程，以及官方 agentic 基准（−54% 代码 / 100% 安全）与 JetBrains 80 组配对实测（−15.4% 代码 / −10.3% 成本，p=0.004）的三次基准对撞；附设计系统、小模型、指令层三大边界与 6 条落地清单。

15.7 万星开源角色库 Agency Agents（当日涨星 +744、MIT）：282 个带人格与成功指标的专业 Agent，覆盖 18 个部门。核心是「一源多目标」编译流水线——用 format 契约保证字节级一致、convert.sh 编译到 17 种宿主原生格式、install.sh 幂等投递且不覆盖用户文件、6 个 CI 工作流做格式门禁。拆解围栏状态机与颜色可解析性校验背后的真实缺陷史，附五个落地场景与 opencode 119 上限等硬边界。

以 kubernetes-sigs/agent-sandbox v1.0.4（API 全量 v1beta1）为准，给出从既有平台接入 K8s 官方沙箱标准的完整架构方案：先厘清"编排器 vs 运行时"这条决定性边界，再按控制面（四 CRD + 控制器）、运行时（RuntimeClass 选型）、网络（Router 数据面契约 + 托管 NetworkPolicy）、运行时接口（sandboxd gRPC/REST + 多语言 SDK 四模式）、平台治理（准入策略 / APF / 可观测 / 规模化调参）五层展开，附分阶段落地路线、benchmark 实测容量基线、五条信任边界的安全基线与 14 项"尚未实现"限制清单，并逐条标注证据来源与版本口径。

系列第 ② 篇，对应技能地图第 12–16 格「使用编程智能体」。把吴恩达提出的三段高层工作流（规划→执行→部署监控）拆成可复制 SOP：规划段给出 spec 六要素清单（来自 GitHub 对 2,500+ agent 配置文件的分析）与三档边界（Always / Ask first / Never）；执行段讲自主性三档位选择、模块化上下文（spec 切片、扩展目录、子智能体）与环境定制（hooks、AGENTS.md、裁剪技能）；监控段给出功能/行为/契约三类验证与四个失败模式的对应防护。附 12 步勾选式 SOP 与两条边界提醒（vibe coding ≠ AI 辅助工程；速度/不确定性/成本的致命三角）。

贾浩楠* 2026-10-09 12:15:05 来源：量子位 机器人摆脱展会、舞台Demo，产生真实商业价值，究竟需要哪些东西？ 一双会盘核桃、能做冰淇淋的灵巧手**，已经足够让人记住**Sharpa**： 这家禾赛科技创始团队再出发的…

TeleAgent 是中国电信 TeleAI 推出的桌面系统级通用智能体，采用「息壤算力网络 + 本地轻量化引擎」双轮驱动架构。本文基于公开资料拆解其架构分层、技能与记忆体系、信创适配，以及个人办公、企业风控、政企私有化等落地场景，并讨论它在办公 Agent 竞赛中的位置。

听雨* 2026-10-04 08:53:29 来源：量子位 专业3D模型反而更稀缺了 听雨 发自 凹非寺 量子位 | 公众号QbitAI GPT-6 Astra一发布，3D圈已经坐不住了… 它能用Blender盖出这样一栋房子，再直接导…