长上下文常被当成大模型的头号卖点，但它有三层代价：平方级注意力计算、线性增长的 KV Cache 显存，以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线，并给出上下文预算分配的实操建议。

语义检索的第一步是把文本变成可比较的向量。本文从 one-hot 的困境讲到稠密向量的语义几何，手算一个余弦相似度的小例子，再用十几行代码演示从 encode 到 top-k 的完整流程，最后点出语义匹配最常见的两个坑。

IT之家 9 月 23 日消息，谷歌今日宣布，Gemini 家族新增两款全新文本转语音模型，将语音生成**从静态预设转变为动态创意工作室**，能够帮助创作者、开发者和企业打造更丰富、更具表现力的音频体验，同时为 Gemini Noteboo…

盘点 2026 年 10 月主流开源 TTS 七个项目（GPT-SoVITS、CosyVoice、F5-TTS、Fish Speech、IndexTTS、Kokoro 等）：机制、音色克隆方式、中文支持与许可证商用限制，附中文效果/实时率/长文本对比表与 F5-TTS 上手示例，兼谈声音克隆的授权与深度伪造合规风险。

IT之家 9 月 19 日消息，当地时间 9 月 18 日，SpaceXAI 发布了 Grok Voice Transcribe 2.0 语音转文本模型，在保持价格不变的前提下，错误率降低约一半。 官方表示，Grok Voice Trans…

停更长达七个半月的 Gemini 旗舰模型，终于更新了。 就在刚刚，多个 Google 相关账号同步宣布：**Gemini 4 Argon 正式发布。** 并且，这可能是最近唯一一个写作、知识和长文本能力明显强于编程与 Agent 能力的前…

Dario Amodei 发文主张放慢 AI 能力提升速度，提出"嵌入式评估员—民主国家协调—全球协调"三步走方案，第一步 Anthropic 已单方面承诺执行；Altman 与马斯克罕见附和，业内同时出现"监管俘获"质疑。

论文提出UltraText Bench，一个包含432条中英双语提示、覆盖24类真实场景和三个难度等级的基准，用于评测纯提示生成密集视觉文本的表现，并使用Q-Judger视觉语言模型从文本保真度、清晰度和空间质量等维度打分。

PAMI受霍夫变换启发，通过多个身体部位锚点对物体运动进行投票定位，并用PamiVAE学习交互潜空间，以解决文本驱动的全身人物-物体交互生成中物体漂移、接触缺失和穿透问题。

VectifyAI 开源的无向量 RAG 引擎 PageIndex（当日涨星 +1,095、★38,082、MIT）：把长文档编译成 JSON 层级树，让 LLM 逐节点推理导航，取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径，以及多文档规模化与数据主权的真实边界。

提示注入的根因是指令与数据共用一个通道。本文讲清直接与间接注入的差别、为什么它像没有参数化查询的 SQL 注入，并给出输入、上下文、能力、检测四层防御清单与信任边界思维。

OpenAI 宣布在 ChatGPT 和 Codex 中嵌入机器可读水印技术 textGrain，首先面向欧盟地区用户，以遵守欧盟 AI Act，并称该技术不逊色于 SynthID 等方案且对生成性能无影响。

2026 年，1M token 上下文已成为头部旗舰的标配，但 RULER 与 NoLiMa 评测反复证明「宣称上下文」远大于「有效上下文」。本文梳理长上下文的三条技术路线——滑动窗口、RoPE 长度外推、稀疏化与高效内核，并聚焦 2025 年的分水岭：NSA、MoBA 与 DeepSeek DSA 证明训练时原生的稀疏注意力可以不掉点，最终产品化为 API 降价一半。

真实企业文档的多数信息不在正文段落里，而在表格、图表与版式关系里——文本 RAG 的 OCR 管线在这里系统性失真。本文拆解两条补齐路线（解析增强 vs ColPali 式视觉检索）与生成端的图文编排，给出选型权衡。

Jev 火了，一个非文本的 AI 模型在今天拿到了由 a16Z 领投的 8.7 亿美元融资，其公司 TypeSafe 的估值直接来到了 75 亿美元。 在 9 月 15 号刚刚发布时，TypeSafe 种子轮才 4000 万美元、估值约 2…

Sora 基于扩散模型与 Transformer 架构，可直接从文本生成长达一分钟的高保真视频，展示了对物理世界'世界模拟器'式的理解潜力。

IT之家 10 月 11 日消息，微软 CEO 萨蒂亚 · 纳德拉认为，在 AI 日益蓬勃发展的时代，使用超级智能自我监控等简单策略是不够的。 纳德拉在北京时间 10 月 10 日晚的一篇长文中指出，传统软件系统在过去几十年中被广泛部署，人…

Epoch AI 估算公开人类文本有效存量约 300 万亿 token，按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半，以及 2026 年预训练数据策略的真实格局。

OpenAI 已把 GPT-6 推向全体 ChatGPT 用户，官方口径周活超 12 亿。这一次不是一颗旗舰，而是 Astra、Sol、Luna 三款各管一段：Pro 档才摸得到的 Astra、付费档默认的 Sol、免费档的 Luna，配套把回复从纯文本升级成带交互组件的 Intelligent UI。本文梳理三款模型的定价与能力坐标、第三方评测里的真实站位，以及 GPT-6.1 Astra 因安全原因被取消的罕见一幕。

从 RT-2 把机器人动作当文本 token 输出，到 OpenVLA 开源 7B、π0 用流匹配跑到 50Hz、GR00T 与 Helix 转向双系统架构——本文梳理 VLA 模型三年的演进脉络：动作怎么表示、参数怎么变小、控制频率怎么上去，以及开源与闭源两条路线的分野。

直接让网络输出一张合理的图像为什么难？扩散模型把「一步生成」反转成「多步去噪」：前向加噪提供训练素材，反向网络一步步剥离噪声，文本经 cross-attention 指挥去噪方向。本文讲清这套机制的完整逻辑，并对比扩散与自回归两条路线。

IT之家 10 月 2 日消息，腾讯 WorkBuddy 今日宣布内置模型独家支持 Space Bunny。 据介绍，Space Bunny 是一款**匿名 Flash 大模型**，具备极速推理、强大的编码能力，原生支持文本、图像、视频输入…

Browser Use 开源的会话式视频剪辑技能包 video-use（当日涨星 +745、★26,450、MIT）：不让模型看像素，只让它读 12KB 词级转写文本 + 按需抽查画面，配合 12 条硬规则与 EDL 驱动的 ffmpeg 确定性渲染管线。拆解两条读入通道、六步流水线与自评回路，附五个落地场景与成本口径。

面向工程师的 OpenClaw 架构深度长文：四层设计总览、Gateway 单进程控制平面、Agent Loop 完整生命周期、Markdown 记忆管线、四槽插件体系、安全模型与多代理路由，还原一个生产级 AI Agent 运行时的设计取舍。

Agent 工程系统学习第 3 章：上下文工程取代 prompt engineering 成为核心技能。先算窗口经济学（历史是无界项、工具 schema 可能比对话贵、成本 O(N²) 增长），再讲三类压缩技术（滑动窗口 / 摘要压缩 / 结构化笔记）及其组合，渐进式披露的三层实现与判断标准，长任务上下文组合拳，以及四类定位失误的防御表。

OpenAI 发布 GPT-4，支持图文多模态输入，在律师资格考试等专业基准上达到人类前 10% 水平，并引入 32K 长上下文版本。

大语言模型吃的是万亿 token 网络文本，机器人能吃的真机数据却以「万条轨迹」计。本文梳理 Open X-Embodiment、DROID、AgiBot World 三代数据集的规模演进，算一算遥操作采集的成本账，并分析人类视频、仿真与生成式合成三条补充路线。

大模型只会输出文本，却能让你的程序查数据库、发邮件——靠的不是魔法，而是一段结构化的调用意图。本文拆解 Function Calling 的完整回合流程、模型学会调工具的原理，以及参数幻觉等常见坑。

OpenAI 发布 GPT-4o（'o' 为 omni），文本、音频、图像端到端统一训练，语音对话平均延迟降至 320 毫秒，接近人类对话反应速度。

LIS 是子序列问题的祖师爷：O(n²) 的 DP 教你「以 i 结尾」的状态设计，O(n log n) 的贪心 + 二分教你「维护最有潜力的结尾」。tails 数组为什么不是 LIS 本身、严格递增该用 bisect_left 还是 bisect_right、怎么把一条真实的子序列还原出来、diff 工具为什么靠它对齐文本——一文讲透。

BM25 是 Lucene/Elasticsearch 的默认相关性算法，也是 2026 年混合检索的标配一半：IDF 加权、词频饱和、文档长度归一，三个直觉撑起一个 30 年不倒的公式。本文逐项拆解它的数学与两个旋钮 k1、b，并说清它和向量检索各管哪一半。

大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

TypeSafe AI 的 Jev 全面开放，注册即得 5 美元额度（约 1.2 亿输入 Token），输出 Token 永久免费。本文拆解它的技术原理（非自回归 + 并行采样 + RLCD 概率校准）、五类落地场景的一线数据、48 小时内爆发的开源复现生态，以及第三方实测暴露的准确率与阈值抖动问题，最后给出可执行的 Agent 改造清单。

Palash Debnath 的全本地开源语音工作台 VoiceStudio（当日涨星 +3,274、★43,728、AGPL-3.0）：把 17 个 TTS 与 7 个 ASR 引擎抽象成可插拔引擎层，覆盖克隆/设计/配音/听写/有声书并内置 MCP。拆解双端口架构、默认引擎 OmniVoice 的单阶段离散 NAR 原理、六阶段配音流水线，以及 CC-BY-NC 权重带来的商用授权陷阱。

CLIP（Radford et al., 2021）用 4 亿网络图文对做对比学习，零样本在 ImageNet 拿到 76.2%——追平全监督的 ResNet-50。本文拆解对比学习的训练机制、零样本分类的「提示词即分类器」玩法、CLIP 的失效模式，以及它如何成为多模态时代的地基。

现代大模型的百万上下文，几乎都建立在 2021 年的旋转位置编码与 2023 年的一系列外推算法之上。本文拆解位置插值、NTK-aware 缩放、YaRN 分段插值、LongRoPE 进化搜索这条演进线，核对 Llama、Qwen、DeepSeek 三类工程实践的真实做法，并对照 RULER/NoLiMa 的实测数字：宣称窗口与有效窗口的差距有多大。

GPT-6 全量推送与 Claude Haiku 5.5 降价撞在同一周。本文横评 GPT-6、Claude、Gemini 3.1 与 GLM-5.3、DeepSeek V4-Pro、Kimi K3、Qwen3.8-Max 的能力、上下文、API 定价与订阅方案，给出分场景选型建议，价格均截至 2026-10-10。

2017 年 6 月，八位 Google 研究员在一篇机器翻译论文里抛弃了循环网络，标题只有五个词：Attention Is All You Need。此后九年：GPT-3 证明规模即能力、ChatGPT 两个月一亿用户、Scaling Laws 驱动军备竞赛、DeepSeek 用十分之一成本撼动算力叙事、推理模型开启第二条扩展曲线。本文是「机器学习简史」系列完结篇，所有 2024 年后的关键事实均经联网核实，带你看清截至 2026 年 10 月的大模型版图，与依然悬而未决的终极争论。

从 IMO 奖牌级表现到一次发布 372 项结果引爆抵制，AI 证明在 2026 年接连突破也接连越界。本文梳理 AlphaProof、Gemini Deep Think 与 OpenAI 最新成果、Lean 形式化生态的进展，厘清机器辅助证明当前的能力边界，以及数学社区围绕「数学 2.0」的核心争论。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

编辑距离是序列动态规划的珠穆朗玛：暴力递归是指数级爆炸，但状态数只有区区 25 万个。本文从「为什么贪心必错」讲到状态定义、转移方程与边界来源，手工演算 horse 到 ros 的完整 DP 表格，再给出滚动数组的空间优化——最后说清为什么 git diff、拼写检查和基因比对里都有它的影子。

向量检索毫秒级出结果却常常「差一口气」，交叉编码器足够准却快不起来——Reranker 用两阶段管线把两者拼在一起：先粗召回 50-100 条，再精排挑出 5-10 条。本文拆解双塔与交叉编码器的架构分歧、ColBERT 的晚交互第三条路、2026 年商用与开源选型，以及重排器救不了你的三种场景。

「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度，讲清评测过拟合的陷阱与红队互补关系，给出应用方的落地建议。

纯向量检索抓不住型号、缩写这类精确术语。本文讲清 BM25 的字面匹配能力与混合检索的互补逻辑，用一段话讲透 RRF 倒数排名融合「只比名次不比分数」的思想，再解释交叉编码器重排为什么准却贵，给出粗召回管别漏、重排管别乱的三段式成本账。

「LLM 缓存」其实指两种东西：推理层的前缀缓存复用已算好的 KV Cache，几乎零风险；应用层的语义缓存按问题含义命中旧答案，省钱但可能错。本文对比两者机制与适用场景，给出先做前缀缓存的行动顺序。

大模型的知识停在训练截止日，私有知识它更是从未见过。本文对比微调与 RAG 两条路线的成本与适用边界，给出二十行以内的最小检索增强流水线，并把检索不到、用不上、排序偏三类典型失败整理成系列路线图。

模型每步输出的不是「下一个字」而是一张概率表，Temperature 与 Top-p 决定怎么从表里抽签。本文讲清温度如何改变分布锐度、Top-p 如何动态截断候选、重复惩罚如何抑制复读，并给出代码、问答、写作、Agent 四类场景的参数对照表。

看榜单选 embedding 模型经常翻车，因为榜单是通用语料，你的数据不是。本文给出语言与领域的第一分水岭、维度的真实代价、可信评测的做法与工程参数对照表，五十条真实问题即可完成一次有依据的决策。

IT之家 9 月 23 日消息，小米 MiMo 大模型负责人罗福莉今日发文，宣布 MiMo-V3 即将采用全新架构。其核心 HySparse 2 今日发布，带来更少的预填充、更小的 KV 缓存、更出色的长上下文检索。 在 1M（100 万）…

一位亲手写下 DeepSeek V4.1 主 Attention 算子的工程师公开判断：AI 将在半年到一年内追平顶级人类算子工程师。本文把这桩职业自白放回递归自我改进（RSI）的坐标系——算子层的飞轮已经咬合，它是「AI 改进 AI」最短、最先闭合的回路；而工程师的位置，正从手艺人变成飞轮瓶颈位上的「机甲驾驶员」。