同等能力的模型 API 价格在几年间下降了一个数量级以上，这不是赔本赚吆喝，而是推理成本结构性下降的传导。本文拆解大模型服务的成本结构，讲清硬件、推理效率、MoE 架构与规模化利用率四条降本路径，并给出开发者应对建议。

OpenAI、Anthropic、Google 三家官方文档一致把推理模型指向数学、编程、复杂调试与长程智能体任务，而简单分类、低延迟与高吞吐场景不值得开思考。本文梳理三家的思考参数与档位选择，算清「思考 token 按输出计费」的成本账，给出一套 effort 档位取舍与调参的实用框架。

思邈* 2026-09-24 22:17:48 来源：量子位 1.5台6000D跑赢1台B300！ 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升，**GPU卡的采购成本、供给约束持续加剧。** AI推理…

2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%，2025 年 1 月 DeepSeek-R1 把整套方法开源复现，到 2026 年 10 月，推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线，拆解推理模型的完整炼成路径，也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。

IT之家 10 月 8 日消息，太平洋时间 10 月 7 日上午 10 点（北京时间 10 月 8 日凌晨 1 点）在美国旧金山举办的发布会中，微软宣布 GitHub Copilot 将在本月底前支持本地 AI 模型推理，**开发者可在云端…

大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

「让我们一步步思考」为什么能让模型答对更多题？本文梳理思维链与推理时计算的研究脉络：从 few-shot 与 zero-shot 提示，到计算外化的核心解释，再到自一致性、结果奖励与过程奖励的分野，最后讨论假推理与验证瓶颈两条边界。

精读 DeepSeek-R1 论文（arXiv 2501.12948）：R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现；完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线，以及「小模型蒸馏优于直接 RL」的关键结论，全部数字溯源论文表 2、表 4 与蒸馏结果表。

从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族，梳理 2026 年手机端侧大模型的硬件底座（NPU 算力与约 85 GB/s 的内存带宽瓶颈）、3B 级模型格局、4-bit 量化与主流端侧推理框架，以及哪些场景仍必须回云。

芯片发布一场接一场，参数眼花缭乱。本文不评具体产品，而是给一套分类框架：GPU 凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么，以及读芯片新闻时先问的三个问题。

VectifyAI 开源的无向量 RAG 引擎 PageIndex（当日涨星 +1,095、★38,082、MIT）：把长文档编译成 JSON 层级树，让 LLM 逐节点推理导航，取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径，以及多文档规模化与数据主权的真实边界。

DeepSeek 发布并开源 R1 推理模型，纯强化学习激发推理能力，性能比肩 OpenAI o1，API 价格仅为后者数十分之一，引发全球市场震动。

Agent 工程系统学习第 12 章：把 Agent 规模化。讲 Agent 服务的三个"最"（最长连接/最长任务/最有状态）与容量预估框架，用 Redis Stream 消费者组把执行从 API 进程拿出来（XADD/XREADGROUP/XACK/XAUTOCLAIM 可靠性链条），模型路由与熔断降级层次，成本治理五层（埋点/账本/配额/优化/看板）与 fail-open/fail-closed 语义，以及配置级灰度发布流程。

大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token，整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史，算清每一代省下的账，讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价，以及 GQA 与 MLA 两大阵营至今未歇的路线之争。

Nala Ginrut 写道： HardenedLinux 最近发布了可用于推理CosyVoice的Velum，它用modern C++开发，编译成一个单一的可执行文件，方便部署。 CosyVoice是目前比较优秀的一款 TTS 模型，但其…

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

o1 系列通过强化学习训练模型'先思考再回答'，在数学、代码与科学推理上大幅跃升，开创了推理时扩展（Test-time Compute）的新 Scaling 维度。

程浅 发自 凹非寺 量子位 | 公众号QbitAI “Navier–Stokes千禧年难题的突破，10000个Agent最多占了10%的功劳。” 此判断出自OpenAI研究员，o1核心作者NoamBrown之口。 NoamBrown，**人…

解码阶段的大模型是内存带宽问题：一次前向读完几十 GB 权重，却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证，修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。

单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行，给出场景化选型直觉表，并强调先测量瓶颈再扩容的工程纪律。

推理时多花算力能换准确率：self-consistency 投票、过程奖励模型引导搜索、budget forcing 强制续想，三条路线各有边界。本文以 s1 论文与 2025–2026 年的 overthinking 研究为轴，梳理 test-time scaling 的效果账与失效点。

听雨* 2026-09-26 15:12:05 来源：量子位 vLLM人马创业公司团队出品 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 16块谷歌TPU v7跑Kimi K3，每秒跑出了709个Token，比老黄的GB200快了…

卡位具身智能规模化落地“最后一公里”！]

9月9日，墨芯人工智能亮相以"共创AI新经济"为主题的2026 Inclusion·外滩大会。]

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

RadixAttention 用前缀树跨请求复用 KV Cache，是 SGLang 的招牌。本文讲机制差异，给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状，并对照 vLLM/Ollama 谈选型。

IT之家 9 月 20 日消息，阿里千问今日宣布，开源千问图像系列当前兼顾生成效果、推理效率与使用成本的开源图像模型 Qwen-Image-2.1。 Qwen-Image-2.1 将文生图与图像编辑整合在同一模型中，视觉生成部分仅有 7B …

IT之家 9 月 17 日消息，尽管 AMD 尚未确认将提高 Ryzen 处理器的售价，但台积电晶圆成本上涨，仍可能导致 AMD 处理器价格走高。 新一轮涨价可能即将到来，而且这次或许还会波及 CPU。根据 ChannelGate 视博合聚…

★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。

KV Cache 让一次推理不用重算历史 token，但多轮对话每次都把 10 万字的 system prompt 重发一遍——前缀缓存回答的是「相同前缀算一遍就够，能不能跨请求共享」。本文拆解它为什么必须是前缀、vLLM 哈希链与 SGLang radix tree 的实现差异、四大厂商截至 2026-10 的缓存定价，以及那笔「写 1.25 倍、读 0.1 倍」的账什么时候是赚的、什么时候反亏 25%。

2024 年 AlphaProof 以 28/42 拿下奥数银牌，靠的是在 Lean 里写机器可验证的证明；2025 年 Gemini 与 OpenAI 模型以自然语言证明达到金牌线。为什么 DeepMind 先走了一年形式化的「弯路」？陶哲轩的 Lean 实践给出了另一重答案。

LLM 流量与普通 API 流量差异巨大：响应慢且长、按 token 计费、供应商不稳定、还要保留换模型的自由。本文逐项拆解 LLM 网关的核心职责——双层限流、多供应商路由、流式转发、降级链、成本核算与可观测，并给出关键设计要点。

「LLM 缓存」其实指两种东西：推理层的前缀缓存复用已算好的 KV Cache，几乎零风险；应用层的语义缓存按问题含义命中旧答案，省钱但可能错。本文对比两者机制与适用场景，给出先做前缀缓存的行动顺序。

IT之家 9 月 23 日消息，Anthropic 今日正式发布了 Claude Opus 5.5 模型，这是其全新 Claude 5.5 家族的首个模型，**宣称在大多数工作上表现可媲美 Claude Fable 5.1，运行成本比 Op…

2017 年 6 月，八位 Google 研究员在一篇机器翻译论文里抛弃了循环网络，标题只有五个词：Attention Is All You Need。此后九年：GPT-3 证明规模即能力、ChatGPT 两个月一亿用户、Scaling Laws 驱动军备竞赛、DeepSeek 用十分之一成本撼动算力叙事、推理模型开启第二条扩展曲线。本文是「机器学习简史」系列完结篇，所有 2024 年后的关键事实均经联网核实，带你看清截至 2026 年 10 月的大模型版图，与依然悬而未决的终极争论。

Google 发布 Gemini 4 系列首个旗舰模型 Argon，主打长周期深度推理，聚焦真实场景编程、企业知识工作与网络防御。

★62,973、AGPL-3.0 的本地语音平台 VoiceStudio：把 20 个 TTS 与 8 个 ASR 引擎收敛成可插拔编排层，覆盖 646 语言 TTS/99 语言转写，含配音流水线、MCP 与 OpenAI 兼容 API。拆解引擎子进程隔离、自适应批宽、操作次数性能预算，以及模型许可与 Pro 边界。

论文提出个性化测试时扩展（Personalized Test-Time Scaling）问题，将用户对精度、延迟与推理成本的联合要求纳入优化目标，并给出摊销式智能体策略发现框架 PersonTTS 以降低为不同用户需求重复搜索策略的开销。

70B 模型 FP16 要 140 GB 显存，量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下，代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则，以及「量化伤推理」争议的实测边界。

自回归解码每步只出一个 token，GPU 大量算力在等显存。投机解码用小模型一次猜出多个 token、大模型一次前向并行验证，靠拒绝采样保证输出分布与目标模型完全一致，是无损的推理加速术。本文讲清它的原理、加速比来源与适用边界。

Goodfire发布基于可解释性的监测器，直接观察AI模型内部状态而非让第二个AI复读输出，以更低成本监控智能体行为，已面向Baseten客户开放。

大模型的知识停在训练截止日，私有知识它更是从未见过。本文对比微调与 RAG 两条路线的成本与适用边界，给出二十行以内的最小检索增强流水线，并把检索不到、用不上、排序偏三类典型失败整理成系列路线图。

Prime Intellect 发布 Prime Inference 推理服务平台，提供无服务器端点和预留 GPU 容量，公开前内部日均处理近万亿 token，主要来自 RL rollout、合成数据生成、评测和长时编码智能体，补全其开源训练栈的服务环节。

据知情人士，Modal Labs接近完成由Accel领投的7.5亿美元融资，投前投后估值为157.5亿美元，较四个月前的46.5亿美元估值增长逾两倍，背景是推理服务需求激增。

下篇把前两篇的结论落到可操作层面：先与站内"算子篇"做视角分工对照（工程师证词 vs 厂商证词，共同指向"方案/目标/边界的敲定权"这一尚未自动化的一格）；再划出五条不该被叙事盖住的线——判断侧仍空着、能力与风险同源、内部口径的自我循环、成本曲线自主但供应链集中、叙事与资本的相互强化；随后给出三份清单：给 Infra 工程师的 7 条稠密反馈可复用做法、给技术管理者的 5 个评审问题、给投资者与产品经理的 4 个可跟踪指标。附录含完整时间线、术语表、分级来源清单与核查记录。

2026 年 9 月 17 日，唐杰与 GLM 团队披露：GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上，参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化，不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇，只做两件事：复盘事件的五个关键时点，以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移（上游 PR #1180）、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条，并附同业坐标对照表。全系列共三篇：上篇讲技术，中篇做 RSI 分级定位与七组数字的口径核查，下篇谈边界、风险与行动清单。

2026 年开放权重阵营的旗手已换成 GLM-5（744B，MIT）、Qwen3.5-397B-A17B（Apache 2.0）、DeepSeek V3.2（MIT）、Kimi K2 系与 Llama 4。本文按许可证、架构与部署成本三条线做全景对照，给出自托管、微调、企业集成三类场景的选型建议。

Architect Financial Technologies 发布 Liquid Inference，一个 LLM 推理市场路由器，每次请求通过实时拍卖由各供应商报价竞价，买方支付满足规则中的最低报价，开发者只需替换 base URL 即可让供应商在价格上竞争。

全量微调 7B 模型，光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几：W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡，以及它什么时候不如全量微调。

Anthropic 发布 Claude 5.5 系列第二款模型 Claude Sonnet 5.5，输出速度提升超 30%，单任务成本最高降低 30%，部分基准测试接近 Opus 5.5，并新增网络安全与蒸馏攻击防护，已登陆 AWS、Google Cloud 和 Azure。