从 FP16 压到 INT4，体积与显存降到约四分之一，量化是大模型部署的标配。本文讲清量化原理、PTQ 与 QAT 两条路线、RTN/GPTQ/AWQ 的思想差异，以及按显存逐级下降的选型决策表。

从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族，梳理 2026 年手机端侧大模型的硬件底座（NPU 算力与约 85 GB/s 的内存带宽瓶颈）、3B 级模型格局、4-bit 量化与主流端侧推理框架，以及哪些场景仍必须回云。

分层回答 RSI 真伪：工程自动化层已跨门槛（Anthropic >80% 代码、AlphaEvolve 回收 0.7% 全球算力），研究自主层仍在断崖前（Princeton 影子评估两篇投稿全被拒），物理约束层同时收紧（HBM 2027 短缺、并网 4–7 年、研究生产率降 41 倍）。含验证层级判别工具、L0–L5 分类学、7 组冲突案例归因、24 行量化结论台账与 17 项未获取清单。

想在笔记本上跑大模型，Ollama 是门槛最低的路径之一。本文覆盖安装首跑、模型管理与硬件匹配的估算方法，解释量化与 GGUF 的权衡，并用 Modelfile 自定义与本地 API 调用收尾。

把"模型发布"当成一类可度量的事件冲击来研究。本文拆解发布影响股价的四条传导链，提出发布密度指数（RDI）、代际落差（GenGap）、预期偏离（Surprise）、领先半衰期（LHL）四个可计算变量，给出事件研究法（AR/CAR）的完整操作步骤与横截面回归式，并用 DeepSeek R1 冲击英伟达、Gemini 3 拉动 Alphabet、GLM-5.2 把智谱送上万亿、Kimi K3 两日击落智谱 42%、GLM-5.3"更强却更跌"、GPT-6 Astra 引发"硬件跌停应用涨停"等 7 个正反面样本做复盘。

2026 年 9 月 17 日 Anthropic 首次公开内部指标：截至 8 月 Claude 已「主导」（AL4）26% 的 AI 研发工作，半年前不足 1%，同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述，每项数据标注权威来源（Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI）：工程与代码层已跨过门槛（SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时）、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%（单周）、上限 AL5 = 0，另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。

「A 公司 CEO 的母校是哪所」——两个事实分处两篇文档，单块相似度检索很难一次捞全。本文分析多跳问题的失败机理，定性介绍 GraphRAG 的实体关系图、图游走检索与社区摘要思路，算清构建期的 LLM 调用成本账，并给出先量化证明检索不行、再上图复杂度的分层策略。

IT之家 10 月 2 日消息，钛度现已在京东上架轻鸾 2 头戴式耳机，该产品主打轻量化机身，定价为 159.9 元。 京东钛度轻鸾 2 头戴式耳机 159.9 元直达链接 外观上，耳机提供枪灰色 / 珍珠白可选，重约 230g，外壳采用 …

系列第 ③ 篇，对应技能地图第 2 格「Grounding」。拆成两级决策：第一级先问要不要检索——Anthropic 给出的 20 万 token（约 500 页）分界线以上才需要 RAG，以下直接全量进 prompt + 缓存（延迟降 2 倍、成本降最多 90%），并区分预计算索引与 just-in-time 即时检索；第二级再选表示方式，向量索引治模糊召回（但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文）、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表（检索失败率 5.7% → 3.7% → 2.9% → 1.9%）、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套，以及一张可抄的选型决策树。

骁龙 8 Elite Gen 5、天玑 9500、苹果 A19 Pro 的 NPU 各有说法，但手机上跑 LLM 的速度上限不由 TOPS 决定——解码阶段的每一步都要把整个模型从内存里搬一遍。本文用带宽公式算清端侧到底能跑多大模型，并梳理三大芯片平台的真实取向。

TeleAgent 是中国电信 TeleAI 推出的桌面系统级通用智能体，采用「息壤算力网络 + 本地轻量化引擎」双轮驱动架构。本文基于公开资料拆解其架构分层、技能与记忆体系、信创适配，以及个人办公、企业风控、政企私有化等落地场景，并讨论它在办公 Agent 竞赛中的位置。

语义检索的第一步是把文本变成可比较的向量。本文从 one-hot 的困境讲到稠密向量的语义几何，手算一个余弦相似度的小例子，再用十几行代码演示从 encode 到 top-k 的完整流程，最后点出语义匹配最常见的两个坑。

检索增强生成的核心流程：向量化、检索、重排与生成

VectifyAI 开源的无向量 RAG 引擎 PageIndex（当日涨星 +1,095、★38,082、MIT）：把长文档编译成 JSON 层级树，让 LLM 逐节点推理导航，取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径，以及多文档规模化与数据主权的真实边界。

纯向量检索抓不住型号、缩写这类精确术语。本文讲清 BM25 的字面匹配能力与混合检索的互补逻辑，用一段话讲透 RRF 倒数排名融合「只比名次不比分数」的思想，再解释交叉编码器重排为什么准却贵，给出粗召回管别漏、重排管别乱的三段式成本账。

RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起，拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数，分析召回率、内存、延迟的三角权衡，给出按数据量分层的务实选型决策。

2026-09-28 剑桥 CASP 发布 22 位作者联合报告，Hinton、Bengio、Barto 三位图灵奖得主与 OpenAI 首席科学家 Pachocki、Anthropic 联合创始人 Jack Clark 等首次联署，警告自动化 AI 研发可能触发"智能爆炸"。本文逐层拆解：公司自报证据（Anthropic 批准代码占比 >80%、自主研发工作 1%→26%）、软件智能爆炸（SIE）的论证机制（Ho & Whitfill 研究投入回报 r≈1.2–1.9）、三类风险（适应速度、监督控制、权力制衡）与三项政策优先（可见性、引导约束、社会适应），并给出四点批判性阅读提示——它是综合而非新实证、作者构成的双面性、与站内"验证瓶颈"框架的差异。

本站「RSI 与 Agent 自进化」专题入口页：把站内 11 篇原创深度与 14 条一手动态收进同一张地图——先给 30 秒定性（RSI 改"改进能力"、自进化改"任务表现"），再按概念／全景／证据／判定／事件／工程／治理七层分层索引，附三条按时间预算划分的阅读路线（30 分钟 / 2 小时 / 半天）、一页速查卡、收录标准与更新日志。

Matt Pocock 开源的 Agent Skill 技能包（当日涨星 +888、★273,816、MIT）：27 个技能把「对齐→规格→拆票→TDD 实现→双轴评审」固化成智能体无法跳过的流程。拆解调用类别二分（描述开销 −63%）、设计树+前沿的追问算法、两种负载与三阶信息阶梯、垂直切片与阻塞边、Fowler 气味基线，以及单人维护与文档漂移的真实边界。

IT之家 9 月 19 日消息，中国电信于 9 月 17 日发布新一代星辰大模型 Xing4.0-29B-A4B，该模型总参数量 29B，激活参数仅 4B，原生支持 256K 上下文，可扩展至 512K， 是国内首个基于国产算力与国产框架完…

IT之家 9 月 17 日消息，消息源 @itspdfu 今天（9 月 17 日）在 X 平台发布推文，爆料称苹果公司正在为 Siri AI 引入名为“Lightweight UI”（轻量级用户界面）的交互方式。 相关代码目前已出现在 ma…

全量微调 7B 模型，光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几：W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡，以及它什么时候不如全量微调。

从 Peebles 与谢赛宁的 DiT 论文到 Sora 的时空 patch，讲清 Diffusion Transformer 的三个关键设计：patch 化、adaLN-Zero 条件注入与以计算量为标尺的可扩展性。

零样本语音克隆只需约 6 秒参考音频：说话人编码器把音色压成一个向量，再去条件化 TTS 生成——XTTS 一条路是「嵌入式克隆」，OpenVoice 一条路是「合成后换色」。本文拆解两条技术路线的原理、效果边界，以及这道技术必须面对的滥用与合规问题。

大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题，配合连续批处理提升吞吐，并给出快速上手命令与常用参数。

同等能力的模型 API 价格在几年间下降了一个数量级以上，这不是赔本赚吆喝，而是推理成本结构性下降的传导。本文拆解大模型服务的成本结构，讲清硬件、推理效率、MoE 架构与规模化利用率四条降本路径，并给出开发者应对建议。

田, 晏林* 2026-09-30 20:11:24 来源：量子位 什么样的AI才适合工业现场？企业真正开始做工业AI时，又该从哪里下手？ 允中 发自 凹非寺 量子位 | 公众号 QbitAI 工业AI，正在从一个个单点项目，走向更真实、…

梦晨* 2026-09-29 08:49:30 来源：量子位 李飞飞将入职AMD首席科学家 梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 82亿美元，AMD全股票收购李飞飞的World Labs。 从2024年初创办到2026年中…

henry* 2026-09-25 18:00:14 来源：量子位 大厂造芯，正在从交付芯片，走向更广泛的开放共建阶段。 henry 发自 凹非寺 量子位 | 公众号 QbitAI “这是目前中国算力性能最强的AI芯片，性能达到M890的…

林, 方舟* 2026-09-25 13:52:18 来源：量子位 林方舟 发自 凹非寺 量子位 | 公众号 QbitAI 叮咚～众包骑手，哦不，众包数采员来新单了！ 一边干着家务或上着班，一边轻松地采集具身数据，结束了还能赚一笔外快，真…

思邈* 2026-09-24 22:17:48 来源：量子位 1.5台6000D跑赢1台B300！ 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升，**GPU卡的采购成本、供给约束持续加剧。** AI推理…

量子位的朋友们* 2026-09-23 16:45:22 来源：量子位 9月23日云栖大会期间，斑马智能发布新一代全模态端侧大模型AutoOmni 2.0-23B-A3B 9月23日云栖大会期间，斑马智能发布新一代全模态端侧大模型Auto…

思邈* 2026-09-23 14:38:07 来源：量子位 对复杂现实进行推演与决策 允中 发自 凹非寺 量子位 | 公众号QbitAI 最近，一个叫Jev的新模型突然火了。 它来自TypeSafe AI。这支有OpenAI背景的团队没…

量子位的朋友们* 2026-09-23 17:56:53 来源：量子位 商汤大装置异构混推创新实践与技术演进 Token经济加速爆发，算力需求发生结构性反转，推理需求已取代训练，成为算力增长主引擎。 随之而来的，是AI基础设施面临的全新命…

中篇回答一个容易被标题带偏的问题：这次在递归自我改进（RSI）坐标系里站在哪一级？用本站 L0–L5 阶梯逐级排除，结论是 L3 命中、L4 未到；用验证层级解释"为什么基础设施最先闭合"；用闭环四问定性为"RSI 前体"。随后拼上 GLM-6.0 的三支柱（数据自产／环境自造／基础设施自我优化），指出只有第三支柱拿到了 A 级公开证据，另两根仍在公告层面。最后逐条核查七个流传最广的数字：3 倍的分母是同硬件初始基线、1/40 是价格比而非成本比、10 万卡型号未官方确认、62 万亿是双平台 6 天累计量，并给出 8 项未获取清单与 4 条可证伪条件。

卡位具身智能规模化落地“最后一公里”！]

IT之家 9 月 25 日消息，The Information 今天（25 日）晚间报道称，特斯拉近几个月已将 Optimus 人形机器人的产量**扩大到原来的约 10 倍**（tenfold），然而**稳定规模化生产的难题**仍未解决。 …

从 RT-2 把机器人动作当文本 token 输出，到 OpenVLA 开源 7B、π0 用流匹配跑到 50Hz、GR00T 与 Helix 转向双系统架构——本文梳理 VLA 模型三年的演进脉络：动作怎么表示、参数怎么变小、控制频率怎么上去，以及开源与闭源两条路线的分野。

15.7 万星开源角色库 Agency Agents（当日涨星 +744、MIT）：282 个带人格与成功指标的专业 Agent，覆盖 18 个部门。核心是「一源多目标」编译流水线——用 format 契约保证字节级一致、convert.sh 编译到 17 种宿主原生格式、install.sh 幂等投递且不覆盖用户文件、6 个 CI 工作流做格式门禁。拆解围栏状态机与颜色可解析性校验背后的真实缺陷史，附五个落地场景与 opencode 119 上限等硬边界。

LayerNorm 把统计量搬回单样本，RMSNorm 再省掉中心化，换来 7%~64% 的归一化提速；而归一化挂在残差内侧还是外侧，决定梯度随深度指数衰减还是多项式失衡。本文推导公式，并用可运行的 numpy 演示把这笔训练稳定性账算给你看。

Agent 工程系统学习第 12 章：把 Agent 规模化。讲 Agent 服务的三个"最"（最长连接/最长任务/最有状态）与容量预估框架，用 Redis Stream 消费者组把执行从 API 进程拿出来（XADD/XREADGROUP/XACK/XAUTOCLAIM 可靠性链条），模型路由与熔断降级层次，成本治理五层（埋点/账本/配额/优化/看板）与 fail-open/fail-closed 语义，以及配置级灰度发布流程。

触觉、记忆、Ego数据、自进化……这个世界模型全都有]

传统 APM 盯的是「请求是否 200」，LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟（TTFT）、质量信号、调用轨迹四个层面拆解 LLM 可观测性，介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局，给出生产闭环的落地路径。

Ollama 负责本地推理，Open WebUI 负责多模型对话、知识库与账号——本文在 Apple M4 上实测 Docker 组合部署全流程：官方命令、RAG 默认参数、OpenAI 兼容 API 的正确开关（v0.11 已改名），以及端口冲突、代理假 IP 导致拉模型失败等真实踩坑清单。

标准注意力的瓶颈不在算力而在显存读写：O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax，在不丢精度（数学上完全等价）的前提下把显存从 O(N²) 降到 O(N)，并梳理 FA2/FA3 两代演进与适用边界。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。

想要 batch size 256，显存只装得下 16——梯度累积用「攒 16 步再更新一次」把大 batch 拼了出来，等效 batch = 微批 × 累积步数。但它有一个著名的例外（BatchNorm）和两个混合精度陷阱。本文用一个 20 行 PyTorch 例子讲清原理与全部坑点。

文档不能出内网的团队也想要自己的 ChatPDF。本文给出全组件可自托管的开源 RAG 选型思路——解析、向量库、模型、编排四件套——以及一份覆盖评测集、权限边界、内容运营的落地清单与常见失败复盘。

LLM 流量与普通 API 流量差异巨大：响应慢且长、按 token 计费、供应商不稳定、还要保留换模型的自由。本文逐项拆解 LLM 网关的核心职责——双层限流、多供应商路由、流式转发、降级链、成本核算与可观测，并给出关键设计要点。