ZStack 将 GPU 管理平台 GPUWorks 以 Apache 2.0 开源：40+MB 体积、60 秒部署，可管理上千台 GPU 服务器。

范式成为《中国AI算力管理平台技术能力评估，2026》综合评分位列第一的厂商。]

量子位的朋友们* 2026-09-22 16:49:12 来源：量子位 9月22日，在2026云栖大会「AI+文化传媒」技术发展论坛上，虎鲸文娱集团推出行业首个AI影视制作与管理平台“鲸锐AI” 9月22日，在2026云栖大会「AI+文化…

大模型价格战的背后（本库《价格战》），站着一条被低估的产业链：推理优化产业——量化、编译器、KV 缓存优化、投机解码、专用推理引擎。它不训练模型，却决定了模型的交付成本，是「价格战能打多低」的真正决定者。本文画一张推理优化产业的地图，讲清每一格的手艺与玩家。

Dify 是最流行的开源 LLM 应用平台：可视化编排工作流、内建 RAG 管线、Agent 节点、模型管理与企业治理。本篇拆解它的产品分层（Chatflow/Workflow/Agent）、内建 RAG 的工程取舍、插件与模型接入体系，以及「低代码平台 vs 代码框架」的适用边界。

思邈* 2026-09-24 22:17:48 来源：量子位 1.5台6000D跑赢1台B300！ 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升，**GPU卡的采购成本、供给约束持续加剧。** AI推理…

LLM 推理服务的伸缩比普通服务难：副本启动要加载几十 GB 权重（冷启动分钟级）、显存装不下就想不加、流量是尖峰型。本篇拆解推理服务伸缩的三大难题与对策——模型加载的冷启动、基于指标的 KPA 伸缩、以及「预热」与「错峰」的运营手段。

同一张 GPU，用 naive 推理脚本与用 vLLM，吞吐可以差 10 倍以上——差距的来源是两项工程创新：PagedAttention（显存的分页管理）与连续批处理（请求的动态编排）。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。

DeepSeek 宣布全面开源支撑 V4.1 Flash 线上服务的内部推理框架 DeepInfer，支持推测解码、分布式推理等能力，兼容英伟达 GPU 与华为昇腾。

从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族，梳理 2026 年手机端侧大模型的硬件底座（NPU 算力与约 85 GB/s 的内存带宽瓶颈）、3B 级模型格局、4-bit 量化与主流端侧推理框架，以及哪些场景仍必须回云。

llama.cpp 是本地推理生态的地基：纯 C/C++ 实现、无依赖、Mac/Windows/Linux/CPU 都能跑。本篇拆解它的技术路线（GGUF 格式、量化内核、异构加速）、本地推理的完整决策链（硬件→量化档位→引擎选择）、以及 ollama/LM Studio 这类「易用层」与 llama.cpp 的关系。

功能排期靠拍脑袋、上线效果没人验证，是大多数平台研发的常态。本文给 Proteus AI 平台设计一条「研发 Loop」：定时爬取 GitHub 上同类平台的功能形成 PR，部署灰度环境跑真实流量，7-14 天后用 z 检验判定平台指标是否变好，变好再经 Astra 模型 review 决定合入，变差自动回滚。附六阶段流水线、数据模型、熔断治理与落地里程碑，配六张手绘架构图。

IT之家 10 月 8 日消息，太平洋时间 10 月 7 日上午 10 点（北京时间 10 月 8 日凌晨 1 点）在美国旧金山举办的发布会中，微软宣布 GitHub Copilot 将在本月底前支持本地 AI 模型推理，**开发者可在云端…

大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

在边缘设备上跑 LLM，硬件怎么选？Jetson Orin、RK3588、Hailo、以及手机芯片——本篇拆解边缘推理硬件的算力、内存与生态对比，给出「按模型规模选硬件」的决策框架，以及边缘部署区别于云端的工程要点。

「压测一下」在推理服务上远比传统服务复杂：压什么指标（TTFT/吞吐）、怎么模拟真实流量（长度分布）、用什么工具（vLLM benchmark、k6、自研）。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位，以及压测报告的正确打开方式。

2017 年 7 月，东北大学毕业生李文星通过 Boss 直聘求职，被冒用公司名义的传销组织骗至天津静海，溺亡于一处水坑。8 月初《求职少年李文星之死》刷屏，公众追问的不是「谁杀了李文星」，而是「谁把传销的大门开在了招聘软件上」——CEO 三天内承认审核机制漏洞、网信办约谈后强制实名认证整改。本系列第十四篇复盘「平台责任型舆情」：当危机的源头不是失误而是商业模式本身，道歉只是入场，整改是一场增长机制的大手术。

精读 DeepSeek-R1 论文（arXiv 2501.12948）：R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现；完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线，以及「小模型蒸馏优于直接 RL」的关键结论，全部数字溯源论文表 2、表 4 与蒸馏结果表。

结果监督只看「答案对不对」，过程监督盯着「每一步推理对不对」——OpenAI 的「Let's Verify Step by Step」让过程奖励模型（PRM）成为推理对齐的主流技术。过程监督为什么能干掉reward hacking，以及它的工程代价。

推理服务向用户承诺「99.9% 可用、P99 延迟 2 秒」——承诺的背后是一套 SLA 工程：SLO 的定义、错误预算的运营、容量规划的科学。本篇拆解推理服务 SLA 的特有指标（TTFT/TPOT 的分位数）、错误预算的纪律、以及容量规划的三步法。

视觉语言模型（VLM）的服务化与纯文本模型不同：图像的预处理管线、多模态 KV 的显存压力、请求的异构性（图+文的组合）。本篇拆解多模态推理基础设施的特殊工程点——从请求处理到显存管理到成本核算。

2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%，2025 年 1 月 DeepSeek-R1 把整套方法开源复现，到 2026 年 10 月，推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线，拆解推理模型的完整炼成路径，也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。

模型每周迭代、服务不能停机——推理服务的「灰度发布」与「模型热更新」有自己的工程形态：蓝绿切换、流量灰度、多模型并存与热加载。本篇拆解推理服务模型迭代的四种模式，以及「切换时 KV Cache 怎么办」这个独有难题。

思维链让模型把思考写成文字，但文字真的是推理的必要载体吗？COCONUT（链式连续思维）让模型直接在隐藏状态里「想」，跳过语言化的中间步骤——效率与能力的权衡揭开了「语言是不是思维的枷锁」这条研究线。本篇拆解隐式推理的动机、COCONUT 的机制、潜空间推理的进展与局限。

OpenAI、Anthropic、Google 三家官方文档一致把推理模型指向数学、编程、复杂调试与长程智能体任务，而简单分类、低延迟与高吞吐场景不值得开思考。本文梳理三家的思考参数与档位选择，算清「思考 token 按输出计费」的成本账，给出一套 effort 档位取舍与调参的实用框架。

「让我们一步步思考」为什么能让模型答对更多题？本文梳理思维链与推理时计算的研究脉络：从 few-shot 与 zero-shot 提示，到计算外化的核心解释，再到自一致性、结果奖励与过程奖励的分野，最后讨论假推理与验证瓶颈两条边界。

同等能力的模型 API 价格在几年间下降了一个数量级以上，这不是赔本赚吆喝，而是推理成本结构性下降的传导。本文拆解大模型服务的成本结构，讲清硬件、推理效率、MoE 架构与规模化利用率四条降本路径，并给出开发者应对建议。

Nala Ginrut 写道： HardenedLinux 最近发布了可用于推理CosyVoice的Velum，它用modern C++开发，编译成一个单一的可执行文件，方便部署。 CosyVoice是目前比较优秀的一款 TTS 模型，但其…

DeepSeek 发布并开源 R1 推理模型，纯强化学习激发推理能力，性能比肩 OpenAI o1，API 价格仅为后者数十分之一，引发全球市场震动。

o1 系列通过强化学习训练模型'先思考再回答'，在数学、代码与科学推理上大幅跃升，开创了推理时扩展（Test-time Compute）的新 Scaling 维度。

卡位具身智能规模化落地“最后一公里”！]

9月9日，墨芯人工智能亮相以"共创AI新经济"为主题的2026 Inclusion·外滩大会。]

一套推理服务服务一百个客户：一个客户的高峰不能拖垮别人、每个客户有配额、资源分配要公平——多租户推理的三大课题。本篇拆解推理服务的多租户隔离技术（资源隔离与逻辑隔离）、配额与公平调度、以及噪声治理的工程手段。

IT之家 11 月 4 日消息，全球最大视频平台 YouTube 今天（11 月 4 日）发布博文，宣布面向全球内容创作者，**推广 YouTube Studio 中的“替换歌曲”（Replace song）工具功能，让其更方便地处理视频中…

单日涨星破千的老牌项目迎来第二春：三天连发 v0.41/v0.42 接入 FLUX 3 Klein 与 MOSS-image；comfy-aimdo 异步权重流式让 4GB 显存也能跑大模型；执行引擎增量缓存、量化支持 fp8/nvfp4/int8。本文拆解架构、场景与横向对比。

★62,973、AGPL-3.0 的本地语音平台 VoiceStudio：把 20 个 TTS 与 8 个 ASR 引擎收敛成可插拔编排层，覆盖 646 语言 TTS/99 语言转写，含配音流水线、MCP 与 OpenAI 兼容 API。拆解引擎子进程隔离、自适应批宽、操作次数性能预算，以及模型许可与 Pro 边界。

Atlassian 与 OpenAI 扩大合作，GPT-6 系列模型将为 Atlassian 平台与 Rovo 上的智能体提供动力，但平台仍保持多模型策略。

90k 星开源项目 Agent-Reach（当日涨星 +1,696、MIT）：给 AI Agent 补上互联网访问能力层。拆解「薄核心+厚渠道」架构、16 平台有序多后端路由、区分 missing/broken 的真执行探针、原子写+600 权限的凭据落盘，附五个落地场景与横向对比。

Prime Intellect 发布 Prime Inference 推理服务平台，提供无服务器端点和预留 GPU 容量，公开前内部日均处理近万亿 token，主要来自 RL rollout、合成数据生成、评测和长时编码智能体，补全其开源训练栈的服务环节。

IT之家 10 月 12 日消息，AMD 当地时间今日正式发布了基于锐龙 AI Max+ PRO 495 处理器的新一代锐龙 AI Halo 开发者平台。 相比初代设备，新产品 CPU、GPU、NPU 性能均有改进。而最为关键的是，**其支…

基于 2026-09-22 独立研究整理：拆解 Meta Muse 的三层产品谱系与时间线、Secure VM 六层防护（凭据代理替换 / tainted egress / 审批绕过模型）、Muse Spark 1.3 能力口径（AA 指数 61–62 vs Claude Fable 5.1 的 66）、定价与商业模型、三情景推演与风险矩阵，并给出核心判断——Agent 的天花板由平台开放意愿决定，而非模型智力。

IT之家 9 月 12 日消息，据外媒 The Bell 报道，高通原计划采用三星 2nm 制程打造新一代移动平台芯片，以应对苹果 A20 系列芯片竞争，尽管目前高通与三星目前在 2nm 芯片合作上的技术问题基本得到解决， 但双方因价格问题…

在禁止儿童使用社媒平台之后，澳大利亚工党政府提出了一项新的法律草案，要求社媒平台允许用户退出算法驱动的信息流。用户可选择算法推荐的个性化内容作为默认信息流，或者拒绝接收算法推荐的内容，只浏览用户关注的朋友和创作者的内容。被称为 My Fee…

大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token，整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史，算清每一代省下的账，讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价，以及 GQA 与 MLA 两大阵营至今未歇的路线之争。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

德国一家法院周四裁定，Meta 必须对其 Instagram 和 Facebook 平台上第三方发布的虚假广告承担责任，责令 Meta 删除此类内容和支付赔偿。诉讼由一家德国金融门户网站的运营商及其创始人提起，虚假广告在推荐可疑投资项目时未…

微软与英伟达在 Windows 与 Surface 特别活动上发布专为本地 AI 设计的新硬件与 RTX Spark 计算平台，主张以一次买断的本地算力提供边际成本接近免费的「不限量智能」。

解码阶段的大模型是内存带宽问题：一次前向读完几十 GB 权重，却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证，修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。

程浅 发自 凹非寺 量子位 | 公众号QbitAI “Navier–Stokes千禧年难题的突破，10000个Agent最多占了10%的功劳。” 此判断出自OpenAI研究员，o1核心作者NoamBrown之口。 NoamBrown，**人…

量子位的朋友们* 2026-09-23 17:50:26 来源：量子位 企业AI服务迎来平台化交付时代 近日，南京人工智能企业汇智智能正式发布一站式AI服务平台Hellome——国内首个实现FDE（前沿部署工程师）与企业客户直接对接的应用…