「线性注意力取代 Transformer」喊了六年，结局出人意料：2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%，压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线，拆解 Qwen3-Next 与 Kimi Linear 的混合配方，并回答那个核心问题——为什么还是要留 25% 的注意力。

IT之家 10 月 8 日消息，太平洋时间 10 月 7 日上午 10 点（北京时间 10 月 8 日凌晨 1 点）在美国旧金山举办的发布会上，微软提出“混合智能”（hybrid intelligence）理念，强调通过混合架构，结合云端 …

2017 年的 Transformer 之后，架构研究沿三条主线展开：把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络，并给出读新架构论文的三问。

DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。

面向工程师的 OpenClaw 架构深度长文：四层设计总览、Gateway 单进程控制平面、Agent Loop 完整生命周期、Markdown 记忆管线、四槽插件体系、安全模型与多代理路由，还原一个生产级 AI Agent 运行时的设计取舍。

MoE 架构让模型总参数可以做得很大，而每个 token 实际经过的计算却不大，这是「变胖不变贵」的关键。本文讲清路由器与专家的分工、总参数与激活参数的区别、路由塌缩与负载均衡的难点，最后给出 MoE 与稠密模型的选型判断。

阿里通义千问发布 Qwen3 系列开源模型，首创'混合思考'模式（可按需开关推理），MoE 与 Dense 全尺寸覆盖，衍生模型数登顶全球开源生态。

从控制流与上下文的所有权出发，给出四条可执行的 Agent 工程原则：一切外部接入以工具体系形式接入且不注入系统提示词；逐级披露贯穿技能、工具发现、工具执行与记忆四个环节；Workflow / Agent / Agentic Workflow / Graph 各有场景、不是替代关系；并逐层拆解四者的技术原理——DAG 与状态机、ReAct 循环、宏观图加微观循环的混合架构，以及 State/Node/Edge、超步执行、reducer 合并语义、checkpointer 恢复、interrupt 人审与递归上限。

三种概念的系统辨析：预定义代码路径 vs 运行时策略驱动，附选型决策框架与混合架构实践

从"控制流所有权"这一第一性原理出发，拆解 Workflow（DAG 编排、确定性执行）与 Agent（ReAct 循环、涌现式控制流）的技术原理差异；详解 Agentic Workflow"图做骨架、节点内自主"的三层混合架构，以及提示链/路由/并行化/编排者-执行者/评审-优化五种经典编排模式与工程选型经验。

以 kubernetes-sigs/agent-sandbox v1.0.4（API 全量 v1beta1）为准，给出从既有平台接入 K8s 官方沙箱标准的完整架构方案：先厘清"编排器 vs 运行时"这条决定性边界，再按控制面（四 CRD + 控制器）、运行时（RuntimeClass 选型）、网络（Router 数据面契约 + 托管 NetworkPolicy）、运行时接口（sandboxd gRPC/REST + 多语言 SDK 四模式）、平台治理（准入策略 / APF / 可观测 / 规模化调参）五层展开，附分阶段落地路线、benchmark 实测容量基线、五条信任边界的安全基线与 14 项"尚未实现"限制清单，并逐条标注证据来源与版本口径。

IT之家 9 月 23 日消息，小米 MiMo 大模型负责人罗福莉今日发文，宣布 MiMo-V3 即将采用全新架构。其核心 HySparse 2 今日发布，带来更少的预填充、更小的 KV 缓存、更出色的长上下文检索。 在 1M（100 万）…

IT之家 9 月 22 日消息，后摩智能 (HOUMO.AI) 在近日举行的 2026 全球 AI 芯片峰会上确认，该公司**下代大模型端边 AI 芯片将采用 3D CIM 存算一体架构**，结合融合存算与 3D DRAM 技术。 这款新一…

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

TeleAgent 是中国电信 TeleAI 推出的桌面系统级通用智能体，采用「息壤算力网络 + 本地轻量化引擎」双轮驱动架构。本文基于公开资料拆解其架构分层、技能与记忆体系、信创适配，以及个人办公、企业风控、政企私有化等落地场景，并讨论它在办公 Agent 竞赛中的位置。

从 kube-apiserver 处理一条请求的完整链路讲起，拆解 Kubernetes 控制平面与数据平面的分层设计：声明式 API 与控制循环为什么成为事实标准，调度、网络、存储、资源模型如何协作；再落到生产实践——资源与 QoS、探针配置、滚动发布、调度约束与常见故障排查。

在 AI Agent 执行环境语境下梳理 microVM 开源方案全景：从隔离光谱（runc→gVisor→microVM→全量仿真）讲起，逐个拆解 Firecracker（极简 VMM+jailer、≤125ms 启动、≤5MiB 开销、快照惰性恢复）、Cloud Hypervisor、QEMU microvm 机型、Kata Containers（VM-per-pod 与后端对照表）、crosvm 的架构原理与接入路径，附 E2B/OpenSandbox 等平台级集成方案、横向对比表与场景化选型决策指南。

阿里主导开源、半年 15.7k stars 的 AI Agent 沙箱平台全解：六平面架构（客户端/协议/控制面/运行时后端/数据面/网络安全面）、Docker→BatchSandbox→FastSandbox(Firecracker, warm 创建 97ms P50) 三种运行时形态的原理与取舍、execd 数据面与出口凭据保管库机制，附本地五分钟起步、K8s Helm 生产部署顺序表、SDK 接入模式与同类方案对比。

纯向量检索抓不住型号、缩写这类精确术语。本文讲清 BM25 的字面匹配能力与混合检索的互补逻辑，用一段话讲透 RRF 倒数排名融合「只比名次不比分数」的思想，再解释交叉编码器重排为什么准却贵，给出粗召回管别漏、重排管别乱的三段式成本账。

完整版（含研究方法、逐条证据台账、口径冲突清单、常见误判澄清表、渐进式落地路线与 18 条参考文献）。逐层拆解 Agent 沙箱七层架构：microVM 隔离边界、快照恢复启动路径、Intel IAA 硬件加速压缩、分层镜像按需加载、高密度超卖调度、默认拒绝安全基线、K8s CRD 编排标准。锚定 Firecracker NSDI'20、Sabre OSDI'24、DeepSeek DSec arXiv 2609.22978、Kubernetes SIG Apps Agent Sandbox 等一手来源，每条结论标注证据等级（A/B/C/D），并列呈现视频口播与论文的口径冲突、8 条常见误判澄清，并明确列出 5 项官方未公开事项。

基于视频《为什么沙箱成了 AI 圈最卷的新基建》的深度延伸调研。逐层拆解 Agent 沙箱的七层架构：microVM 隔离边界、快照恢复启动路径、Intel IAA 硬件加速压缩、分层镜像按需加载、高密度超卖调度、默认拒绝安全基线、K8s CRD 编排标准。锚定 Firecracker NSDI'20、Sabre OSDI'24、DeepSeek DSec arXiv 2609.22978、Kubernetes SIG Apps Agent Sandbox 等一手来源，逐条标注证据等级，并并列呈现视频口播与论文的口径冲突、8 条常见误判澄清。

2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。

BM25 是 Lucene/Elasticsearch 的默认相关性算法，也是 2026 年混合检索的标配一半：IDF 加权、词频饱和、文档长度归一，三个直觉撑起一个 30 年不倒的公式。本文逐项拆解它的数学与两个旋钮 k1、b，并说清它和向量检索各管哪一半。

Vectorize 开源的智能体记忆系统 Hindsight（当日涨星 +4,463、★37,121、MIT）：以世界事实/经验/观察/心智模型四网络替代扁平 RAG，LongMemEval 从同骨干全上下文的 39.0% 拉到 83.6%、最强 91.4%。拆解 TEMPR/CARA 分层、四路检索+RRF+重排、反思持久化机制，附五个落地场景与竞品争议。

深度求索开源 671B 参数（激活 37B）的 MoE 模型 DeepSeek-V3，训练仅用约 278 万 H800 GPU 小时，以极低成本比肩头部闭源模型。

VectifyAI 开源的无向量 RAG 引擎 PageIndex（当日涨星 +1,095、★38,082、MIT）：把长文档编译成 JSON 层级树，让 LLM 逐节点推理导航，取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径，以及多文档规模化与数据主权的真实边界。

生成一条好看的视频已经不难，难的是让同一个人跨镜头不「变脸」、让画面里的世界遵守物理。盘点各家的参考生视频、LoRA 微调、推理优先架构等方案与仍然存在的短板。

IT之家 9 月 23 日消息，夏威夷时间 9 月 22 日 9 点（北京时间 9 月 23 日 3 点）召开的 2026 骁龙峰会上，IT之家带来前方现场报道，**高通宣布将会向骁龙芯片下放 HBC 技术。** IT之家注：HBC 全称为…

IT之家 9 月 16 日消息，博主 @数码闲聊站 昨晚发文，称高通这一代选择了双 2nm 旗舰平台策略。 其中 SM8975（第六代骁龙 8 超级至尊版）定义 2nm 综合实力最强的移动 SoC，性能巅峰，主频突破 5GHz，CPU / …

语音对话「说完—听懂—想好—说出」四段链路各带百毫秒级延迟，叠加起来轻易超过人类对话的停顿预算。本文摊开全链路延迟账本，拆解 VAD、流式识别、首 token 与流式合成各环节，并对比级联与端到端两条架构路线。

苹果在 WWDC 发布 Apple Intelligence，采用端侧小模型 + 私有云计算的分层架构，深度整合系统级写作、图像与 Siri 升级，强调隐私保护。

IT之家 9 月 15 日消息，Sharkoon（旋刚）现已推出 Stealthbite IEM（IT之家注：In-ear Monitors，入耳监听）耳机。其采用有线连接，随附 Stealthbite DAC。 Stealthbite I…

向量检索毫秒级出结果却常常「差一口气」，交叉编码器足够准却快不起来——Reranker 用两阶段管线把两者拼在一起：先粗召回 50-100 条，再精排挑出 5-10 条。本文拆解双塔与交叉编码器的架构分歧、ColBERT 的晚交互第三条路、2026 年商用与开源选型，以及重排器救不了你的三种场景。

76k 星开源项目 Impeccable（当日涨星 +1,171、Apache-2.0）：jQuery UI 作者 Paul Bakaus 给 AI 编程智能体的设计技能层。核心判断是「禁止清单只会迁移模型」，改用 61 条确定性检测规则 + 双盲评审子代理 + 跨会话记忆 + 编辑时钩子。拆解多宿主编译架构、反吸引子机制、8 道 gate 与 Live Mode 的取舍边界。

Agent 工程系统学习第 5 章：工具是 Agent 的手脚。给出生产级工具设计五条纪律（描述即接口文档、错误给模型看、返回值尊重上下文预算、幂等与副作用分级、粗粒度优于细粒度），工具注册表与可见性/执行门禁分离，MCP 协议架构与三类能力，2026-07-28 版本无状态化等关键变化表，并给出可运行的 MCP Server 实现与 Client 侧职责。

Agent 工程系统学习第 2 章：给出 Agent 的严格定义（LLM+循环+工具+终止条件）与 workflow/agent 的第一分叉口；提供约 100 行零框架最小可运行 Agent 并逐段精读；梳理 ReAct / Plan-and-Execute / Reflection / Router 设计模式谱系与选型速查表；详解四层终止预算刹车系统、死循环形态与对策、流式与并行工具调用、可恢复循环宿主架构。

系列第 ③ 篇，对应技能地图第 2 格「Grounding」。拆成两级决策：第一级先问要不要检索——Anthropic 给出的 20 万 token（约 500 页）分界线以上才需要 RAG，以下直接全量进 prompt + 缓存（延迟降 2 倍、成本降最多 90%），并区分预计算索引与 just-in-time 即时检索；第二级再选表示方式，向量索引治模糊召回（但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文）、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表（检索失败率 5.7% → 3.7% → 2.9% → 1.9%）、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套，以及一张可抄的选型决策树。

同等能力的模型 API 价格在几年间下降了一个数量级以上，这不是赔本赚吆喝，而是推理成本结构性下降的传导。本文拆解大模型服务的成本结构，讲清硬件、推理效率、MoE 架构与规模化利用率四条降本路径，并给出开发者应对建议。

Cloudflare 开源其漏洞发现流水线（VDH）的种子 security-audit-skill（GitHub 当日涨星 3,606、★10,418、MIT）：六阶段多智能体审计，覆盖台账 + 对抗验证 + 字段级证据契约。本文拆解其架构数据流与五类落地场景，并给出社区盲测数据（中位精确率 90%、依赖 CVE 覆盖 0%）与使用边界。

2,510 当日涨星的开源 AI 创作 IDE（★7,621、Rust/Tauri）：把 62 个图像/视频/音频/3D 模型收进一个本地桌面端，用 3D 场景、图层合成与人偶摆姿把「提示词抽卡」变成可复现的创作工程。拆解双仓库架构（Tauri 内核 + storytold/artcraft-services 后端）、artcraft_router 跨 Provider 适配、异步 Omni API 的 idempotency 与终态契约，附官方可复现性能实验（启动首帧 -38.1%）与自定义 fair source 许可证风险。

给已有 Agent 框架做 RL 后训练，通常要把业务逻辑重写成训练代码。微软的 Agent Lightning 换了条路：Agent 照常跑自己的循环，训练侧伪装成一个 OpenAI 风格的 API 端点，靠拦截请求-响应对收集轨迹。v1.0 技术报告里，Qwen3.5-9B 编码 Agent 在 SWE-bench Verified 上从 41.8% 提到 56.4%。本文拆解它的架构、算法与社区争议。

Palash Debnath 的全本地开源语音工作台 VoiceStudio（当日涨星 +3,274、★43,728、AGPL-3.0）：把 17 个 TTS 与 7 个 ASR 引擎抽象成可插拔引擎层，覆盖克隆/设计/配音/听写/有声书并内置 MCP。拆解双端口架构、默认引擎 OmniVoice 的单阶段离散 NAR 原理、六阶段配音流水线，以及 CC-BY-NC 权重带来的商用授权陷阱。

混合专家（MoE）让模型参数量与计算量解耦，但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线，拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节，并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。

从 RT-2 把机器人动作当文本 token 输出，到 OpenVLA 开源 7B、π0 用流匹配跑到 50Hz、GR00T 与 Helix 转向双系统架构——本文梳理 VLA 模型三年的演进脉络：动作怎么表示、参数怎么变小、控制频率怎么上去，以及开源与闭源两条路线的分野。

输出流畅、语气自信，内容却是编的——幻觉是当前大模型架构的固有属性，不是能修掉的 bug。本文拆解幻觉生成的三层机理、最容易被放大的三类场景，给出检测思路与从 RAG 到提示词设计的缓解清单。

大语言模型只认 token 序列，图片如何进入对话？本文拆解视觉语言模型的三块积木：把图像切块编码的 ViT、对齐两种向量空间的投影层，以及图文对三阶段训练配方，并解释视觉幻觉与计数失准这些特有失败的架构根源。

90k 星开源项目 Agent-Reach（当日涨星 +1,696、MIT）：给 AI Agent 补上互联网访问能力层。拆解「薄核心+厚渠道」架构、16 平台有序多后端路由、区分 missing/broken 的真执行探针、原子写+600 权限的凭据落盘，附五个落地场景与横向对比。