Agent 的输入不再只有文本：PDF、截图、语音、表格、手写笔记——多模态输入让 Agent 贴近真实工作。本篇拆解多模态输入的接收面工程（解析管线、模态的统一表示、成本与延迟的取舍），以及文档智能、视觉理解、语音输入各自的工程要点。

大语言模型只认 token 序列，图片如何进入对话？本文拆解视觉语言模型的三块积木：把图像切块编码的 ViT、对齐两种向量空间的投影层，以及图文对三阶段训练配方，并解释视觉幻觉与计数失准这些特有失败的架构根源。

GPT-4o 之前的多模态是「拼装」：LLM 外挂视觉编码器、外挂图像生成器。原生多模态把理解与生成合进一个模型——语音进出、图像进出都在同一套权重里。本篇拆解三代多模态架构（外挂拼接、原生统一、any-to-any）、早融合与晚融合的技术分野、统一模型的权衡，以及「模态是什么」这个被重新打开的问题。

转写成文字只是「听见」，音频理解的野心是「听懂」：环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方（音频编码器 → 语义 token → LLM）、开源代表 Qwen 系与评测基准 MMAU/AudioBench，以及它正在替代的旧管线。

制造业的 AI 是「硬功夫」路线：不聊天、不写作，只做三件事——把质检的眼睛装上产线、把设备故障预告出来、把工艺参数调到最优。这一领域的 AI 与大模型关系微妙：工业视觉不需要大模型，大模型在知识管理与文档环节补充。本文讲清制造业 AI 的真实落地地图与它对「AI 泡沫」的最好反驳。

论文指出多数VLM在判断相机左移还是右移时接近随机猜测，并提出CameraVLM，通过相机运动令牌与屏幕内光流令牌的联合表征以及状态-语言对齐来提升相机运动理解能力。

IT之家 9 月 11 日消息，蓝鲸汽车今天（11 日）援引内部知情人士消息称，一汽-大众捷达首款纯电轿车（M6）预计于下月中上市， 搭载地平线征程 6M 芯片，并采用纯视觉智驾方案 。知情人士还透露，捷达预计 明年下半年推出新能源 SUV…

量子位的朋友们* 2026-10-22 15:11:14 来源：量子位 中电信人工智能科技有限公司星辰通用人工智能实验室正式发布并开源意图理解专用模型 Xing4.0-29B-Intent 中国电信人工智能科技有限公司星辰通用人工智能实验…

IT之家 9 月 18 日消息，腾讯 Chatterfly 输入法现已开启内测，支持 macOS 和 Windows 系统，iOS 与 Android 版显示为即将发布。 官方表示，这款输入法除了将语音变成文字外， 还能理解上下文 ，识别不…

真实企业文档的多数信息不在正文段落里，而在表格、图表与版式关系里——文本 RAG 的 OCR 管线在这里系统性失真。本文拆解两条补齐路线（解析增强 vs ColPali 式视觉检索）与生成端的图文编排，给出选型权衡。

从 RT-2 把机器人动作当文本 token 输出，到 OpenVLA 开源 7B、π0 用流匹配跑到 50Hz、GR00T 与 Helix 转向双系统架构——本文梳理 VLA 模型三年的演进脉络：动作怎么表示、参数怎么变小、控制频率怎么上去，以及开源与闭源两条路线的分野。

论文提出 VITAL 动作分词器，将视觉推导的运动骨架与紧凑的残差编码结合，把视觉运动作为主要预测目标，以提升世界-动作模型中厘米级精度的驾驶动作预测。

论文提出将退化图像的嵌入映射回由高分辨率自然图像形成的流形上来实现真实世界超分辨率，并主张像素空间或重建导向的潜空间不是合适的基底，而应使用冻结的视觉基础模型潜空间。

研究指出多向量视觉文档检索器存储的补丁向量索引可被逆向还原出页面图像，在ViDoRe v3基准上从原始索引反演的页面可恢复47%的词，提示此类索引应被视为与原文同等敏感。

QuadTok 提出基于四叉树的视觉分词方法，对复杂区域动态分配 token、对均匀区域用粗分辨率，在 ImageNet 上节省约 10% token 并在 COCO 零样本迁移时节省 9%，且树结构天然支持自回归图像生成。

论文提出UltraText Bench，一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准，用于评测纯提示生成密集视觉文本的表现，并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。

同一预测核心，跨七类系统验证]

9月10日，阿里巴巴集团旗下高德正式发布全球首个3D原生城市世界模型ABot-Earth 0.7。]

浏览器智能体已走过演示期：可访问性树、视觉定位、混合感知三条路线各有代表实现，产品入口从框架卷到整只浏览器，而网站方的封锁也在同步升级。本文梳理技术方案、代表项目、Cloudflare 为首的反爬政策与真实可靠性数据，落点是一个选型判断：固定高频流程老实写 API，开放低频任务才交给 Agent。

英伟达推出采用 MoE 架构（总参数 1200 亿、激活 120 亿）的开放多模态模型 Nemotron 3.5 Super VL，整合推理、工具调用与文本、图像、文档、视频理解能力，称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍，并公布多个企业定制案例与基准评测成绩。

RAG 答案不对，先别急着调切块参数——病灶常在更上游的 PDF 解析。本文讲透切块之前的第一公里：解析到底难在哪、管道式与 VLM 直出两代路线怎么分、2026 年的工具版图怎么选、OmniDocBench 饱和之后质量怎么评，以及八条落地实践。

IT之家 11 月 4 日消息，科技媒体 MacRumors 今天（11 月 4 日）发布博文，报道称在 iPadOS 27.3 首个开发者预览版中，苹果面向部分支持的 iPad 机型，**在“相机”（Camera）应用中新增 Siri 标…

扩散模型统治图像生成数年后，自回归阵营（GPT-4o 原生图像、Gemini 的原生多模态生成）带着「理解与生成同源」的旗帜反攻。本篇拆解两条路线的机制差异、DiT 的统治基础、自回归反攻的杀手锏（文本渲染与指令遵循）、以及混合架构与「统一模型」趋势下的路线合流。

破晓智能与天珑移动发布SeePhys Hub数据采集系统，通过四目头环、腕部手环、腰腿部追踪器和触觉手套，将视觉与身体运动、触觉信号融合，为机器人学习全身移动操作补充Ego数据中缺失的交互信息。

henry* 2026-10-11 16:59:06 来源：量子位 多模态模型的视觉原生Harness，来了！ henry 发自 凹非寺 量子位 | 公众号 QbitAI 多模态模型的视觉原生Harness，来了！ 最近，何恺明团队在最新…

IT之家 10 月 8 日消息，太平洋时间 10 月 7 日上午 10 点（北京时间 10 月 8 日凌晨 1 点）在美国旧金山举办的发布会中，微软展示全新的 Windows 搜索体验，计划借助 AI 让用户以更自然的方式查找信息、文件和应…

UniWAM 提出统一架构，整合物理推理器、世界生成器与动作预测器，联合学习物理世界语义理解、视觉生成与动作预测，并配套了严格的数据清洗与标注流程。

大模型为什么做出某个判断，至今多数时候靠猜。机械可解释性（mechanistic interpretability）想改变这一点：把神经网络拆解成人类可理解的「特征」与「回路」。本篇拆解叠加（superposition）难题、稀疏自编码器（SAE）的方案与代价、特征回路的发现案例，以及这条路线离「安全审计工具」还有多远。

生成一条好看的视频已经不难，难的是让同一个人跨镜头不「变脸」、让画面里的世界遵守物理。盘点各家的参考生视频、LoRA 微调、推理优先架构等方案与仍然存在的短板。

Browser Use 是开源浏览器智能体的代表项目：把浏览器操作抽象为 Agent 可用的结构化工具面。本篇拆解浏览器智能体的技术栈分层（Browser Use/Playwright MCP/各家框架的整合）、两种感知路线的取舍（DOM 快照 vs 截图视觉）、登录态与反爬的现实工程，以及企业与个人怎么用这套开源栈。

mmap 是理解 Linux 内存管理的枢纽：文件映射把 Page Cache 变成你的指针，匿名映射是 malloc 大块内存的底层真相，MAP_SHARED 是共享内存与进程间零拷贝的共同地基。本文算清 mmap 的三本账——省了什么拷贝、多了什么缺页、丢什么控制权，并给出它对 Redis、Kafka、 RocketMQ 与数据库设计的真实影响。

打家劫舍是动态规划的「相邻约束」教科书：一排房子，不能偷相邻两家，求最大金额。它比爬楼梯多一层选择结构，比零钱兑换少一层维度，是理解「状态定义决定转移方程」的最佳样本。本文讲清它的状态设计、滚动数组优化、以及与子序列问题的深层联系。

债券看似 boring，却是全球体量最大的资产类别，也是理解利率的最好教具。本篇讲清债券定价的贴现本质、到期收益率与价格的跷跷板、久期（价格对利率的敏感度）的算法与直觉、凸性为什么是加分项，以及利率风险与信用风险的分工——读完能算出「利率升 1%，我的债基跌多少」。

打家劫舍是动态规划的「相邻约束」教科书：一排房子，不能偷相邻两家，求最大金额。它比爬楼梯多一层选择结构，比零钱兑换少一层维度，是理解「状态定义决定转移方程」的最佳样本。本文讲清它的状态设计、滚动数组优化、以及与子序列问题的深层联系。

IT之家 9 月 20 日消息，阿里千问今日宣布，开源千问图像系列当前兼顾生成效果、推理效率与使用成本的开源图像模型 Qwen-Image-2.1。 Qwen-Image-2.1 将文生图与图像编辑整合在同一模型中，视觉生成部分仅有 7B …

「最新版的报销制度是什么」——语义检索能命中所有版本的报销制度，但只有元数据知道哪份是最新的。过滤条件（时间、部门、版本、类型）与语义检索是互补的两轴，合不好会出现「过滤后召回骤降」的经典翻车。本文讲清 pre/post-filter 的取舍、过滤条件的抽取与兜底。

Raft 论文的中文精读：从复制状态机出发理解共识

爱范儿「多样性公司」栏目专访一目科技创始人李智强博士，介绍其厚度迭代至3毫米以下、号称全球最薄可量产的仿生视触觉传感器SENTRA T0，以及触觉感知对机器人灵巧操作的重要性。

当代旗舰大模型的「万亿参数」几乎都由 MoE（混合专家）撑起：参数规模狂飙，单次推理只激活一小部分。本篇拆解 MoE 的路由机制、负载均衡的核心难题、专家分工的实证发现，以及 Switch Transformer 到 DeepSeek-V3 的细粒度演进——理解为什么「稀疏」是规模竞赛的必选项。

线程池是多线程编程的基础设施：复用线程避免频繁创建销毁的开销，控制并发度防止资源耗尽。但线程池的参数设计（核心线程数、最大线程数、队列类型与长度、拒绝策略）是一门需要理解的学问——不是拍脑袋填数字。本文讲清线程池的参数体系与设计方法。

当日涨星 906 的知识图谱项目：代码用本地 tree-sitter AST 零 LLM 额度建图，文档/图片才走语义趟；52 文件混合语料单次查询 token 降 71.5 倍，LOCOMO recall@10 0.497，每条边带 EXTRACTED/INFERRED/AMBIGUOUS 置信标签。

一次性发布 700 多个文件并非学术成就的体现，而是权力的炫耀。** 我们敦促数学家们停止与 OpenAI 的合作，回归以人类理解为中心的科学理念。** 这是人类数学协会在 OpenAI 发布大量数学研究成果后，专门写了一篇声明用来回应这件…

学习另一门语言是一项高度复杂的脑力活动。它要求人们记忆单词、分辨陌生的声音、识别语言规律、推敲语法规则，在恰当的时刻提取出正确的表达。而这一切，都在人们进行倾听、理解并准备回应的同时发生。这些脑力活动也能帮助保持衰老大脑的健康吗？研究表明，…

LimiX让模型理解数据背后的因果机制]

Jake Wharton 拒绝 AI 编程的 5 分钟速览：他为什么有资格这么说、五大主张一句话版、以及三条不看立场也能用的自测线（理解线 / 依赖线 / 成本线）。附三句最狠的原话与深度版入口。

从叠加假说、稀疏自编码器到归因图，机械可解释性在 2026 年第一次跑进生产线：Anthropic 能画出 Claude 的思维回路，OpenAI 从 GPT-4 抽出 1600 万特征，Goodfire 本周把内部探针做成低价监测产品。本文梳理核心进展、落地场景与「SAE 是否找到真实特征」的根本性质疑。

2,510 当日涨星的开源 AI 创作 IDE（★7,621、Rust/Tauri）：把 62 个图像/视频/音频/3D 模型收进一个本地桌面端，用 3D 场景、图层合成与人偶摆姿把「提示词抽卡」变成可复现的创作工程。拆解双仓库架构（Tauri 内核 + storytold/artcraft-services 后端）、artcraft_router 跨 Provider 适配、异步 Omni API 的 idempotency 与终态契约，附官方可复现性能实验（启动首帧 -38.1%）与自定义 fair source 许可证风险。

Sora 基于扩散模型与 Transformer 架构，可直接从文本生成长达一分钟的高保真视频，展示了对物理世界'世界模拟器'式的理解潜力。

「这个应用每月的模型账单会是多少」——回答这个问题需要真正理解 token 计费的口径：输入输出分价、上下文累积、缓存折扣、以及隐藏的成本大头。本篇拆解计费的完整口径、一笔真实对话的成本拆解、以及按效排序的成本优化清单——把「token 焦虑」变成「token 预算学」。

Coding Agent 把「理解偏差 × 执行速度」放大成新的失败模式：代码写得飞快，方向却是错的。本文给出好规格的六个组成部分、三种反模式与一份可直接套用的模板，把需求从口头默契变成模型可执行的上下文。