DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

MoE 架构让模型总参数可以做得很大，而每个 token 实际经过的计算却不大，这是「变胖不变贵」的关键。本文讲清路由器与专家的分工、总参数与激活参数的区别、路由塌缩与负载均衡的难点，最后给出 MoE 与稠密模型的选型判断。

2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。

「线性注意力取代 Transformer」喊了六年，结局出人意料：2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%，压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线，拆解 Qwen3-Next 与 Kimi Linear 的混合配方，并回答那个核心问题——为什么还是要留 25% 的注意力。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。

IT之家 9 月 9 日消息，据博主 @超维界 透露，华为 Pura X View、Mate XT 2 非凡大师手机支持端侧本地大模型下载部署，有多模态增强大模型（6GB 左右）和多模态混合专家大模型（15GB 左右）供自主选择下载。 博主…

混合专家（MoE）让模型参数量与计算量解耦，但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线，拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节，并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。

阿里通义千问发布 Qwen3 系列开源模型，首创'混合思考'模式（可按需开关推理），MoE 与 Dense 全尺寸覆盖，衍生模型数登顶全球开源生态。

单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行，给出场景化选型直觉表，并强调先测量瓶颈再扩容的工程纪律。

IT之家 10 月 8 日消息，太平洋时间 10 月 7 日上午 10 点（北京时间 10 月 8 日凌晨 1 点）在美国旧金山举办的发布会上，微软提出“混合智能”（hybrid intelligence）理念，强调通过混合架构，结合云端 …

IT之家 9 月 18 日消息，在今天（18 日）的第 22 届中国汽车产业发展（泰达）国际论坛“新赛道生态专场：具身智能新赛道”活动中，长安汽车首席专家、长安天枢智能机器人公司总经理谭欢在演讲中指出，AI 正推动以物理具身智能为核心的基础…

IT之家 9 月 19 日消息，当地时间 18 日，据美国 CNBC 报道，加利福尼亚州州长加文 · 纽森签署了一份行政令，要求进一步加强 AI 监管和安全措施，希望在“为时已晚之前”采取行动。 按照行政令，加州将召集一批 AI 专家举行会…

纯向量检索抓不住型号、缩写这类精确术语。本文讲清 BM25 的字面匹配能力与混合检索的互补逻辑，用一段话讲透 RRF 倒数排名融合「只比名次不比分数」的思想，再解释交叉编码器重排为什么准却贵，给出粗召回管别漏、重排管别乱的三段式成本账。

特朗普与习近平会晤未涉及出口管制，贸易休战仅延长两个月，但据报道中国正考虑放宽管制，允许部分大型AI企业明年进口更多英伟达被禁芯片，专家对此表示担忧。

BM25 是 Lucene/Elasticsearch 的默认相关性算法，也是 2026 年混合检索的标配一半：IDF 加权、词频饱和、文档长度归一，三个直觉撑起一个 30 年不倒的公式。本文逐项拆解它的数学与两个旋钮 k1、b，并说清它和向量检索各管哪一半。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

2017 年的 Transformer 之后，架构研究沿三条主线展开：把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络，并给出读新架构论文的三问。

IT之家 9 月 15 日消息，Sharkoon（旋刚）现已推出 Stealthbite IEM（IT之家注：In-ear Monitors，入耳监听）耳机。其采用有线连接，随附 Stealthbite DAC。 Stealthbite I…

9 月 17 日，据 CNBC 报道，Anthropic CEO Dario Amodei 提议将独立第三方安全评估员长期嵌入前沿 AI 公司，赋予其接近内部风险团队的访问权限，并在有限删减前提下自主发布调查结果的权力。他明确援引银行业嵌入…

Anthropic 官方开源的 11 个知识工作插件（★28,766、Apache-2.0）：252 个 SKILL.md 按 description 触发、21 个 .mcp.json 接入 CRM/数仓/工单，权限留在连接器、外部内容一律当数据。拆解双层 marketplace 与钉 SHA+政策扫描的供应链治理，附五个落地场景与真实边界。

IT之家 10 月 10 日消息，长鑫存储 4F² DRAM 架构研发近期取得关键进展。该公司总裁曹堪宇博士在第四届集成芯片和芯粒大会上发表演讲，全面介绍了长鑫存储在 DRAM 器件、4F² 架构及混合键合等方向的技术探索与积累，**并官宣…

三种概念的系统辨析：预定义代码路径 vs 运行时策略驱动，附选型决策框架与混合架构实践

★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。

浏览器智能体已走过演示期：可访问性树、视觉定位、混合感知三条路线各有代表实现，产品入口从框架卷到整只浏览器，而网站方的封锁也在同步升级。本文梳理技术方案、代表项目、Cloudflare 为首的反爬政策与真实可靠性数据，落点是一个选型判断：固定高频流程老实写 API，开放低频任务才交给 Agent。

IT之家 10 月 8 日消息，太平洋时间 10 月 7 日上午 10 点（北京时间 10 月 8 日凌晨 1 点）在美国旧金山举办的发布会中，微软宣布 GitHub Copilot 将在本月底前支持本地 AI 模型推理，**开发者可在云端…

IT之家 10 月 5 日消息，半导体分析机构 Kurnal Insights 于当地时间 9 月 30 日发布了华为麒麟 9050 Pro 芯片的裸片（Die Shot）显微照，首次从物理层面展示了这款芯片的内部结构。 照片显示，麒麟 9…

IT之家 9 月 23 日消息，夏威夷时间 9 月 22 日 9 点（北京时间 9 月 23 日 3 点）召开的 2026 骁龙峰会上，高通宣布携手阶跃、无量火及江波龙，基于第六代骁龙 8 超级至尊版移动平台，**端侧适配与推理优化阶跃 S…

系列第 ③ 篇，对应技能地图第 2 格「Grounding」。拆成两级决策：第一级先问要不要检索——Anthropic 给出的 20 万 token（约 500 页）分界线以上才需要 RAG，以下直接全量进 prompt + 缓存（延迟降 2 倍、成本降最多 90%），并区分预计算索引与 just-in-time 即时检索；第二级再选表示方式，向量索引治模糊召回（但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文）、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表（检索失败率 5.7% → 3.7% → 2.9% → 1.9%）、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套，以及一张可抄的选型决策树。

从控制流与上下文的所有权出发，给出四条可执行的 Agent 工程原则：一切外部接入以工具体系形式接入且不注入系统提示词；逐级披露贯穿技能、工具发现、工具执行与记忆四个环节；Workflow / Agent / Agentic Workflow / Graph 各有场景、不是替代关系；并逐层拆解四者的技术原理——DAG 与状态机、ReAct 循环、宏观图加微观循环的混合架构，以及 State/Node/Edge、超步执行、reducer 合并语义、checkpointer 恢复、interrupt 人审与递归上限。

从"控制流所有权"这一第一性原理出发，拆解 Workflow（DAG 编排、确定性执行）与 Agent（ReAct 循环、涌现式控制流）的技术原理差异；详解 Agentic Workflow"图做骨架、节点内自主"的三层混合架构，以及提示链/路由/并行化/编排者-执行者/评审-优化五种经典编排模式与工程选型经验。

一篇汇总多条科技行业新闻的早报，涵盖苹果新品曝光、GPT-6 推送、DeepSeek 融资传闻、Claude Haiku 5.5 发布、诺贝尔奖揭晓、汽车与能源行业变化等内容。

NVIDIA 开源的自主智能体运行时 OpenShell（当日涨星 +978、★10,496、Apache-2.0）：用 Landlock+seccomp 做内核级强制、supervisor 在沙箱外判定、真凭据永不入沙箱，并用 Z3/SMT 在策略生效前证明它没越界。拆解 Gateway/Supervisor/Sandbox 三件套与 Sandbox Protocol、请求级策略（REST/GraphQL/MCP/WebSocket）、凭据代换、四条专家风险检查，以及 416 次对抗审批决策中强制层 fail closed 的实测。

阿里把内部跑了两年的 AI 代码评审助手开源为 open-code-review（当日涨星 2,724、★36,575、Apache-2.0）：确定性工程 + LLM Agent 混合管线，含六道文件闸门、语义分组、三层记忆压缩与评论定位。AACR-Bench 同模型下 F1 为通用 Agent 的 1.5–2 倍、token 约 1/9，代价是召回更低。附五个落地场景与可复现命令。

想要 batch size 256，显存只装得下 16——梯度累积用「攒 16 步再更新一次」把大 batch 拼了出来，等效 batch = 微批 × 累积步数。但它有一个著名的例外（BatchNorm）和两个混合精度陷阱。本文用一个 20 行 PyTorch 例子讲清原理与全部坑点。

Anthropic 声称其模型 Claude Mythos 在发现软件漏洞上胜过大多数安全专家。随后发生了 OpenAI–Hugging Face 安全事件，此后 Anthropic（自豪）和 Meta（不情愿）也披露了各自模型的类似事件。…

把 AI 计算放在最适合计算 AI 的地方去。 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。 ]

微信在中国几乎已成为国家基础设施的一部分，融入了日常通信、政府服务和数字支付之中。正因如此加州一个小型研究团队最近的发现——一种利用人工智能构建的工具可以在短短几个小时内攻破数以百万计的账户——让专家和分析人士感到震惊。这证明，有了人工智能…

宇树的机器狗除了做些花哨动作外可能用处不大，但它拥有一个巨大的优势：价格极其平民。George Mason 大学的机器人专家 Xuesu Xiao 教授称，十年前只有少数团队从事四足机器人的运动控制研究，因为只有这些团队能制造四足机器人，宇…

根据 Turku 大学的一项研究，远程办公增加了睡眠时间但减少了身体活动。研究人员分析了混合办公者在远程办公和去办公室办公之间的睡眠、久坐行为及身体活动差异。结果显示，相比去办公室办公，远程办公日的平均睡眠时间多了 15分钟，但坐姿或卧姿时…

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

📱曝苹果削减 iPhone 18 Pro 订单，供应链称总量变化不大 💰苹果调整并购团队架构，7 年来首次重新归入财务部门 🫘豆包据称在建设水电燃气缴费等生活服务能力 💸小米 17 Ultra 官网全系涨价 1000 元，华为 no…

AI PC 还没火，先被 AI 背刺了。 10 月 9 日，技嘉宣布，旗下全部 B760 和 H610 主板将通过 BIOS 更新，支持预计 2027 年初推出的新款英特尔 LGA1700 处理器，**其中赫然包括 DDR4 主板；** 「…

同等能力的模型 API 价格在几年间下降了一个数量级以上，这不是赔本赚吆喝，而是推理成本结构性下降的传导。本文拆解大模型服务的成本结构，讲清硬件、推理效率、MoE 架构与规模化利用率四条降本路径，并给出开发者应对建议。

量子位的朋友们* 2026-09-23 16:45:22 来源：量子位 9月23日云栖大会期间，斑马智能发布新一代全模态端侧大模型AutoOmni 2.0-23B-A3B 9月23日云栖大会期间，斑马智能发布新一代全模态端侧大模型Auto…

「个人化」智能 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。 ]

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

2026-09-28 剑桥 CASP 发布 22 位作者联合报告，Hinton、Bengio、Barto 三位图灵奖得主与 OpenAI 首席科学家 Pachocki、Anthropic 联合创始人 Jack Clark 等首次联署，警告自动化 AI 研发可能触发"智能爆炸"。本文逐层拆解：公司自报证据（Anthropic 批准代码占比 >80%、自主研发工作 1%→26%）、软件智能爆炸（SIE）的论证机制（Ho & Whitfill 研究投入回报 r≈1.2–1.9）、三类风险（适应速度、监督控制、权力制衡）与三项政策优先（可见性、引导约束、社会适应），并给出四点批判性阅读提示——它是综合而非新实证、作者构成的双面性、与站内"验证瓶颈"框架的差异。

TLS 握手流程、证书链验证与混合加密体系

IT之家 9 月 24 日消息，当地时间 9 月 23 日，OpenAI CEO 萨姆 · 奥尔特曼（Sam Altman）在联合国安理会就 AI 议题发表讲话，讨论 AI 发展带来的机遇与风险，并呼吁加强国际合作，建立针对前沿 AI 系统…

多头潜在注意力（MLA）是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座：把 K/V 低秩压缩进一个 512 维潜在向量，推理时缓存量只有完整 MHA 的约 1.8%，官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计，以及专用 Kernel、前缀缓存兼容等真实工程代价。