GPT-4o 之前的多模态是「拼装」：LLM 外挂视觉编码器、外挂图像生成器。原生多模态把理解与生成合进一个模型——语音进出、图像进出都在同一套权重里。本篇拆解三代多模态架构（外挂拼接、原生统一、any-to-any）、早融合与晚融合的技术分野、统一模型的权衡，以及「模态是什么」这个被重新打开的问题。

henry* 2026-10-11 16:59:06 来源：量子位 多模态模型的视觉原生Harness，来了！ henry 发自 凹非寺 量子位 | 公众号 QbitAI 多模态模型的视觉原生Harness，来了！ 最近，何恺明团队在最新…

给模型装上眼睛和耳朵，等于给它开了一扇绕过安全训练的新门：把恶意指令藏进图片、用高频音频注入、在图表里编码攻击文本——多模态模型的攻击面远大于纯文本。本文讲清多模态越狱的主要技术路线、为什么它们比文本越狱更难防、以及防御的纵深设计。

OpenAI 发布 GPT-4，支持图文多模态输入，在律师资格考试等专业基准上达到人类前 10% 水平，并引入 32K 长上下文版本。

英伟达推出采用 MoE 架构（总参数 1200 亿、激活 120 亿）的开放多模态模型 Nemotron 3.5 Super VL，整合推理、工具调用与文本、图像、文档、视频理解能力，称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍，并公布多个企业定制案例与基准评测成绩。

九大空间测试10B规模通用模型中8项第一]

真实企业文档的多数信息不在正文段落里，而在表格、图表与版式关系里——文本 RAG 的 OCR 管线在这里系统性失真。本文拆解两条补齐路线（解析增强 vs ColPali 式视觉检索）与生成端的图文编排，给出选型权衡。

Apertus 1.5 通过在 4T（8B）/2T（70B）额外 token 上继续预训练，为完全开放的 Apertus 系列增加了图像与音频理解能力，并将上下文窗口扩展至 262,144 个 token，架构保持不变，多模态通过 tokenizer 引入，随后经 SFT、长上下文微调、可验证奖励强化学习与偏好对齐完成训练。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

提出EviAlign方法，通过生成语义证据并在证据单元边界读取上下文状态、聚合为归一化嵌入，联合生成与对比检索目标训练共享多模态大模型结构。

CLIP（Radford et al., 2021）用 4 亿网络图文对做对比学习，零样本在 ImageNet 拿到 76.2%——追平全监督的 ResNet-50。本文拆解对比学习的训练机制、零样本分类的「提示词即分类器」玩法、CLIP 的失效模式，以及它如何成为多模态时代的地基。

大语言模型只认 token 序列，图片如何进入对话？本文拆解视觉语言模型的三块积木：把图像切块编码的 ViT、对齐两种向量空间的投影层，以及图文对三阶段训练配方，并解释视觉幻觉与计数失准这些特有失败的架构根源。

事件驱动架构（EDA）用「事件」替代「直接调用」解耦服务：事件生产者不关心谁来消费，消费者不关心事件从哪来。本文讲清事件驱动的三种模式（事件通知、事件状态转移、事件溯源）、CQRS 的读写分离思想、以及事件驱动不是银弹的诚实分析。

扩散模型统治图像生成数年后，自回归阵营（GPT-4o 原生图像、Gemini 的原生多模态生成）带着「理解与生成同源」的旗帜反攻。本篇拆解两条路线的机制差异、DiT 的统治基础、自回归反攻的杀手锏（文本渲染与指令遵循）、以及混合架构与「统一模型」趋势下的路线合流。

面向工程师的 OpenClaw 架构深度长文：四层设计总览、Gateway 单进程控制平面、Agent Loop 完整生命周期、Markdown 记忆管线、四槽插件体系、安全模型与多代理路由，还原一个生产级 AI Agent 运行时的设计取舍。

2025–2026 年智能体身份与权限架构快速收敛：MCP 把工具服务端定义为 OAuth 2.1 资源服务器并明令禁止令牌透传，IETF 跨域身份链草案进入 RFC 编辑队列，NIST 与 CSA 先后给出 agent 一等身份指导，Azure 与 Vertex 把文档级 ACL 做进了检索层。本文把材料拆成身份、授权、数据三层，梳理一套可落地的智能体知识库权限架构，并把仍在争论的问题摊开。

田, 晏林* 2026-09-22 23:59:35 来源：量子位 阿里：三年之内会出现一个原生的全模态统一生成模型，未来体验将不再受限于模态边界。 田晏林 发自 凹非寺 量子位 | 公众号 QbitAI 5天。 不用搭景，不用等演员，导…

转写成文字只是「听见」，音频理解的野心是「听懂」：环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方（音频编码器 → 语义 token → LLM）、开源代表 Qwen 系与评测基准 MMAU/AudioBench，以及它正在替代的旧管线。

IT之家 9 月 21 日消息，据科技日报昨晚报道，9 月 20 日，在青海师范大学教师教育高质量发展暨建校 70 周年大会科研成果展示环节， 我国首款藏语多语言全模态 AI 输入法 —— 智达 AI 输入法及配套藏文字体集正式发布 。 据…

IT之家 9 月 23 日消息，小米 MiMo 大模型负责人罗福莉今日发文，宣布 MiMo-V3 即将采用全新架构。其核心 HySparse 2 今日发布，带来更少的预填充、更小的 KV 缓存、更出色的长上下文检索。 在 1M（100 万）…

「线性注意力取代 Transformer」喊了六年，结局出人意料：2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%，压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线，拆解 Qwen3-Next 与 Kimi Linear 的混合配方，并回答那个核心问题——为什么还是要留 25% 的注意力。

语音对话「说完—听懂—想好—说出」四段链路各带百毫秒级延迟，叠加起来轻易超过人类对话的停顿预算。本文摊开全链路延迟账本，拆解 VAD、流式识别、首 token 与流式合成各环节，并对比级联与端到端两条架构路线。

论文研究多模态协作预测在模态缺失时性能衰退的问题，提出结合私有预测路径与图结构协作分支的 Lluna 模型，并以渐进协作一致性机制进行优化。

IT之家 9 月 22 日消息，后摩智能 (HOUMO.AI) 在近日举行的 2026 全球 AI 芯片峰会上确认，该公司**下代大模型端边 AI 芯片将采用 3D CIM 存算一体架构**，结合融合存算与 3D DRAM 技术。 这款新一…

Epoch AI 估算公开人类文本有效存量约 300 万亿 token，按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半，以及 2026 年预训练数据策略的真实格局。

OpenAI 发布 GPT-4o（'o' 为 omni），文本、音频、图像端到端统一训练，语音对话平均延迟降至 320 毫秒，接近人类对话反应速度。

阿里主导开源、半年 15.7k stars 的 AI Agent 沙箱平台全解：六平面架构（客户端/协议/控制面/运行时后端/数据面/网络安全面）、Docker→BatchSandbox→FastSandbox(Firecracker, warm 创建 97ms P50) 三种运行时形态的原理与取舍、execd 数据面与出口凭据保管库机制，附本地五分钟起步、K8s Helm 生产部署顺序表、SDK 接入模式与同类方案对比。

以 kubernetes-sigs/agent-sandbox v1.0.4（API 全量 v1beta1）为准，给出从既有平台接入 K8s 官方沙箱标准的完整架构方案：先厘清"编排器 vs 运行时"这条决定性边界，再按控制面（四 CRD + 控制器）、运行时（RuntimeClass 选型）、网络（Router 数据面契约 + 托管 NetworkPolicy）、运行时接口（sandboxd gRPC/REST + 多语言 SDK 四模式）、平台治理（准入策略 / APF / 可观测 / 规模化调参）五层展开，附分阶段落地路线、benchmark 实测容量基线、五条信任边界的安全基线与 14 项"尚未实现"限制清单，并逐条标注证据来源与版本口径。

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

A2A 协议 2026 年 3 月发布 1.0 稳定版，MCP 同年 7 月完成官方所称「史上最大修订」、把协议核心重写为无状态架构；两大规范在 12 个月内先后定型，并在中立基金会下完成治理统一。本文梳理两条演进主线、企业落地证据链，以及重叠、碎片化与过早标准化三派争议。

TeleAgent 是中国电信 TeleAI 推出的桌面系统级通用智能体，采用「息壤算力网络 + 本地轻量化引擎」双轮驱动架构。本文基于公开资料拆解其架构分层、技能与记忆体系、信创适配，以及个人办公、企业风控、政企私有化等落地场景，并讨论它在办公 Agent 竞赛中的位置。

从 kube-apiserver 处理一条请求的完整链路讲起，拆解 Kubernetes 控制平面与数据平面的分层设计：声明式 API 与控制循环为什么成为事实标准，调度、网络、存储、资源模型如何协作；再落到生产实践——资源与 QoS、探针配置、滚动发布、调度约束与常见故障排查。

OpenBMB 的 2B 语音基础模型：把 TTS 流水线里的分词器整个删掉，在连续潜空间端到端建模，一个骨干同时装下 30 语言、9 种中文方言、自然语言造声与三层克隆，48kHz 原生输出、Apache-2.0。本文拆解四阶段管线、FSQ 瓶颈与非对称 AudioVAE，并如实标注 8GB 显存门槛与运行间波动。

在 AI Agent 执行环境语境下梳理 microVM 开源方案全景：从隔离光谱（runc→gVisor→microVM→全量仿真）讲起，逐个拆解 Firecracker（极简 VMM+jailer、≤125ms 启动、≤5MiB 开销、快照惰性恢复）、Cloud Hypervisor、QEMU microvm 机型、Kata Containers（VM-per-pod 与后端对照表）、crosvm 的架构原理与接入路径，附 E2B/OpenSandbox 等平台级集成方案、横向对比表与场景化选型决策指南。

2017 年的 Transformer 之后，架构研究沿三条主线展开：把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络，并给出读新架构论文的三问。

完整版（含研究方法、逐条证据台账、口径冲突清单、常见误判澄清表、渐进式落地路线与 18 条参考文献）。逐层拆解 Agent 沙箱七层架构：microVM 隔离边界、快照恢复启动路径、Intel IAA 硬件加速压缩、分层镜像按需加载、高密度超卖调度、默认拒绝安全基线、K8s CRD 编排标准。锚定 Firecracker NSDI'20、Sabre OSDI'24、DeepSeek DSec arXiv 2609.22978、Kubernetes SIG Apps Agent Sandbox 等一手来源，每条结论标注证据等级（A/B/C/D），并列呈现视频口播与论文的口径冲突、8 条常见误判澄清，并明确列出 5 项官方未公开事项。

基于视频《为什么沙箱成了 AI 圈最卷的新基建》的深度延伸调研。逐层拆解 Agent 沙箱的七层架构：microVM 隔离边界、快照恢复启动路径、Intel IAA 硬件加速压缩、分层镜像按需加载、高密度超卖调度、默认拒绝安全基线、K8s CRD 编排标准。锚定 Firecracker NSDI'20、Sabre OSDI'24、DeepSeek DSec arXiv 2609.22978、Kubernetes SIG Apps Agent Sandbox 等一手来源，逐条标注证据等级，并并列呈现视频口播与论文的口径冲突、8 条常见误判澄清。

IT之家 9 月 9 日消息，据博主 @超维界 透露，华为 Pura X View、Mate XT 2 非凡大师手机支持端侧本地大模型下载部署，有多模态增强大模型（6GB 左右）和多模态混合专家大模型（15GB 左右）供自主选择下载。 博主…

DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

IT之家 10 月 10 日消息，长鑫存储 4F² DRAM 架构研发近期取得关键进展。该公司总裁曹堪宇博士在第四届集成芯片和芯粒大会上发表演讲，全面介绍了长鑫存储在 DRAM 器件、4F² 架构及混合键合等方向的技术探索与积累，**并官宣…

Agent 工程系统学习第 1 章：从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器（含 tool_calls 分块拼接）、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。

智象未来（HiDream.ai）正式发布首个原生全模态视频生成模型 HiDream-O1-Video-1.0]

提出两阶段后训练框架 Salt++，通过因果自流（CSF）和上下文对齐的自回归 DMD，解决少步流式音视频生成中上下文相关难题。

研究团队推出RobotWorld模拟测试平台，含84项覆盖操作、移动操作、运动控制、驾驶与飞行控制的任务，通过交互预算与可执行成功检验评估智能体将指令转化为物理任务执行的能力，并分析哪些能力可迁移、哪些缺口导致无法可靠完成。

多模态AI大牛轮番登台，全球64支团队组团解题]

单日涨星破千的老牌项目迎来第二春：三天连发 v0.41/v0.42 接入 FLUX 3 Klein 与 MOSS-image；comfy-aimdo 异步权重流式让 4GB 显存也能跑大模型；执行引擎增量缓存、量化支持 fp8/nvfp4/int8。本文拆解架构、场景与横向对比。

研究发现投影器训练主要起粗对齐作用：少量数据即可恢复大部分下游性能，且不同数据集训练的投影器可线性插值，据此提出无需训练的投影器初始化方法 PORTAL。

IT之家 9 月 26 日消息，Epoch AI 于当地时间 9 月 23 日进行了一组家具组装基准测试（Furniture Assembly Benchmark，FAB）。结果显示，多模态 AI 在识别宜家家具组装错误方面取得明显进展。 …

GitHub 21.6 万星的开放编码智能体一周内经历 2.0 大版本与安全事件双重曝光。本文拆解它的常驻服务端架构、插件热重载内核、Code Mode 与上下文经济设计，并给出五类落地场景。

2026 年 7 至 8 月，月之暗面 Kimi K3（2.8 万亿参数）与阿里 Qwen3.8（2.4 万亿）先后开放权重，开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单，拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行，同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重，不是人人可跑的乌托邦。