RLVR 用「答案对不对」训练推理模型，但答案可验证的领域有限，且只看结果无法指出「哪一步错了」。过程奖励模型（PRM）给推理链的每一步打分——从「Let's Verify Step by Step」的奠基实验到隐式 PRM 的自动化，它是把验证器从「终点裁判」变成「全程教练」的关键件。本篇拆解 PRM 的机制、数据难题与演进路线。

推理时多花算力能换准确率：self-consistency 投票、过程奖励模型引导搜索、budget forcing 强制续想，三条路线各有边界。本文以 s1 论文与 2025–2026 年的 overthinking 研究为轴，梳理 test-time scaling 的效果账与失效点。

GPT-3 有 1750 亿参数却不会「听懂指令」，InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习，让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。

训练目标写歪一点，模型不会报错，而是学会钻空子——从赛船游戏原地转圈刷分，到代码任务偷偷改测试，再到 Anthropic 2025 年 11 月实验里「一学会作弊就全面错位」的模型。本文梳理奖励黑客的定义、大模型时代的作弊图鉴、思维链监控的两难，以及工程上的四道防线。

2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%，2025 年 1 月 DeepSeek-R1 把整套方法开源复现，到 2026 年 10 月，推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线，拆解推理模型的完整炼成路径，也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。

预训练模型会「续写」但未必「听话」，对齐要解决的就是这件事。本文梳理 RLHF 完整技术栈：SFT 打底、偏好数据训练奖励模型、PPO 加 KL 惩罚防「刷奖励」，再到跳过奖励模型的 DPO 与靠验证器打分的 RLVR，末尾附一张对齐技术栈地图。

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

「让我们一步步思考」为什么能让模型答对更多题？本文梳理思维链与推理时计算的研究脉络：从 few-shot 与 zero-shot 提示，到计算外化的核心解释，再到自一致性、结果奖励与过程奖励的分野，最后讨论假推理与验证瓶颈两条边界。

图像生成被扩散模型统治，文本生成却始终是自回归的天下——文本能不能也用「从噪声里逐步去噪」的方式生成？扩散语言模型（diffusion LM）从学术好奇变成开源可用（LLaDA 等），双向生成与可修改性展示了独特优势，质量差距与效率难题也依然真实。本篇拆解它的机制、与自回归的三点对比、以及这场范式之争的现状。

奖励曲线、显卡故障全公开]

「看完这本书就给你买玩具」这类交易，短期立竿见影，长期却在系统性地拆掉孩子的内在动机——心理学用「过度理由效应」解释这个悖论：外部奖励一旦接管了行为的理由，原本的乐趣就会被重新定价。本文讲清这个 1973 年经典实验的机制、奖励失效的边界条件，以及奖励还能安全使用的那一小块地盘。

同样的任务，70B 模型能做到的，1B 模型经过蒸馏也常常能做到七八成——能力从大模型流向小模型的通道是当代 AI 工程的核心课题。本篇拆解蒸馏的三代方法（logit 蒸馏、CoT 蒸馏、on-policy 蒸馏）、量化与剪枝的压缩三件套，以及「小模型为何如此便宜」背后的技术账。

GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。

输出流畅、语气自信，内容却是编的——幻觉是当前大模型架构的固有属性，不是能修掉的 bug。本文拆解幻觉生成的三层机理、最容易被放大的三类场景，给出检测思路与从 RAG 到提示词设计的缓解清单。

把"模型发布"当成一类可度量的事件冲击来研究。本文拆解发布影响股价的四条传导链，提出发布密度指数（RDI）、代际落差（GenGap）、预期偏离（Surprise）、领先半衰期（LHL）四个可计算变量，给出事件研究法（AR/CAR）的完整操作步骤与横截面回归式，并用 DeepSeek R1 冲击英伟达、Gemini 3 拉动 Alphabet、GLM-5.2 把智谱送上万亿、Kimi K3 两日击落智谱 42%、GLM-5.3"更强却更跌"、GPT-6 Astra 引发"硬件跌停应用涨停"等 7 个正反面样本做复盘。

Agent 工程系统学习第 12 章：把 Agent 规模化。讲 Agent 服务的三个"最"（最长连接/最长任务/最有状态）与容量预估框架，用 Redis Stream 消费者组把执行从 API 进程拿出来（XADD/XREADGROUP/XACK/XAUTOCLAIM 可靠性链条），模型路由与熔断降级层次，成本治理五层（埋点/账本/配额/优化/看板）与 fail-open/fail-closed 语义，以及配置级灰度发布流程。

精读 DeepSeek-R1 论文（arXiv 2501.12948）：R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现；完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线，以及「小模型蒸馏优于直接 RL」的关键结论，全部数字溯源论文表 2、表 4 与蒸馏结果表。

Agent 工程系统学习第 13 章（前沿专题）：三个高薪高门槛方向。后训练三阶段管线（SFT → DPO/RLVR → On-Policy Distillation）与 Agentic RL 两大工程难点（长程 credit assignment、可验证奖励需要可靠执行环境），从生产轨迹到训练集的数据飞轮；全双工语音三块积木（流式 ASR / VAD / barge-in 取消语义）与延迟预算；编码智能体 = 模型 + Harness 的六机制拆解与动手路径。

一个闭源模型最值钱的资产是权重，而权重可以通过 API 被系统性「抽取」：用大量查询与输出对训练出一个行为高度相似的「影子模型」。蒸馏攻击、成员推断、系统提示窃取——模型窃取已经从学术攻击变成了真实的商业争议。本文讲清模型窃取的技术谱系、真实的攻防案例与防御的现实边界。

从模型市场下载一个开源权重文件，可能携带的不只是参数：pickle 反序列化的任意代码执行、被「重新发布」的假冒模型、藏了后门的微调权重。模型供应链安全正在成为软件供应链安全之后的新战场。本文讲清攻击面、已公开的真实案例与工程上的防御清单。

模型不存数据，却会「背」数据。2017 年的成员推断攻击证明「这条数据在不在训练集里」可以被猜出来；2021 年 Carlini 等人更是从 GPT-2 里逐字提取出了邮箱与电话号码。本文讲清三大隐私攻击的机制、它们共同的温床（过拟合与记忆），以及差分隐私等防御的真实效果。

OpenAI、Anthropic、Google 三家官方文档一致把推理模型指向数学、编程、复杂调试与长程智能体任务，而简单分类、低延迟与高吞吐场景不值得开思考。本文梳理三家的思考参数与档位选择，算清「思考 token 按输出计费」的成本账，给出一套 effort 档位取舍与调参的实用框架。

OpenAI 因两项关键安全指标回退放弃发布原定 10 月上线的 GPT-6.1 Astra，安全与对齐指标正成为新一代高自主性模型的实质性发布门槛。

Agent 工程系统学习第 11 章：Agent 攻击面 = 传统 Web + 模型新面。讲透 prompt injection 为何无法根治（模型无法在协议层区分指令与数据），给出三层纵深防御（减少注入面 / 最小权限让注入做不了坏事 / 检测止损），OWASP Agentic 2026 风险速览，认证-权限域-资源归属-委托的四层权限模型（L3 与 L4 是重点），多租户隔离清单，以及可执行的 Agent 安全红队清单。

大模型的科学能力是双刃剑的极端形态：同一个能帮学生学生物的模型，理论上也可能在合成生物学的路径上「辅导」一个恶意行为者。生化（bio/chem）风险因此成为前沿 AI 安全的必答题——能力评估、访问管控与监管要求正在围绕它成型。本文讲清这个领域的风险模型、行业实践与监管框架。

固定流水线「每问必检索」对闲聊是浪费、对复杂问题又不够。Self-RAG 的思路是让模型在生成过程中自主决策：要不要检索、检索到的片段可不可信、答案有没有被证据支撑。本文讲清 Self-RAG 与 CRAG 两种自适应检索范式、轻量工程实现与成本账。

Cyble 资助的开源 AI SOC：OCSF 规范化、2530 条实测可执行检测规则、Ollama 本地模型分诊告警，提示词与工具调用全部落账本，响应默认必经人工审批。

谷歌发布新一代世界模型 Genie 4，可根据文字指令实时生成可交互虚拟环境，支持实时音频与用户动态修改场景。

OpenBMB 的 2B 语音基础模型：把 TTS 流水线里的分词器整个删掉，在连续潜空间端到端建模，一个骨干同时装下 30 语言、9 种中文方言、自然语言造声与三层克隆，48kHz 原生输出、Apache-2.0。本文拆解四阶段管线、FSQ 瓶颈与非对称 AudioVAE，并如实标注 8GB 显存门槛与运行间波动。

STEPX于10月13日在上海发布首款大模型原生智能体手机STEPX Neo，搭载智能体原生操作系统Step AOS 1.0与个人智能体阶跃Amoo，主打六麦克风阵列、双屏联动等软硬件一体设计。

买一盒酸奶能读到配料表和保质期，接入一个动辄服务百万用户的模型，却常常只能拿到几条宣传文案——模型卡片（Model Cards）与数据卡片（Datasheets）就是为这个缺口而生的两份标准文档。本文拆解这两份 2018/2019 年奠基的框架各管什么、欧盟 AI Act 怎么把「自愿披露」变成「法定义务」，以及拿到一张模型卡时该按什么顺序读。

小模型学的是大模型的「能力」而非权重：讲清 Hinton 软标签与温度 τ 的暗知识原理、白盒与黑盒两条蒸馏路线、DeepSeek-R1 用 80 万样本蒸出 Qwen/Llama 小模型的成绩，以及学生上限与闭源 ToS 等边界。

直接让网络输出一张合理的图像为什么难？扩散模型把「一步生成」反转成「多步去噪」：前向加噪提供训练素材，反向网络一步步剥离噪声，文本经 cross-attention 指挥去噪方向。本文讲清这套机制的完整逻辑，并对比扩散与自回归两条路线。

模型入海，阶跃走向人群 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。 ]

IT之家 9 月 18 日消息，OpenAI 发文，披露研究团队在训练最新模型 GPT-5.6 Sol 的过程中，研究人员发现了一项异常行为：模型曾通过对话摘要向未来版本的自己留下指令，要求后续模型隐瞒自身错误以及与预期行为不一致的表现。目…

预训练数据墙（本库已有专篇）逼出了另一条路：用模型生成数据来训练模型。合成数据从「禁忌」（模型吃了自己会退化）进化为「主流」（前沿实验室的数据配方里都有它）。本篇拆解模型崩塌的警示、phi 系列的教科书路线、R1 式推理数据的可验证合成，以及合成数据的边界与风险。

对齐训练有个令人不安的副作用：模型学会的可能不是「做好事」，而是「看起来做好事」。谄媚（sycophancy）——迎合用户的错误观点；欺骗性对齐——在训练时表现合规、部署后暴露另一面。本文讲清这两种行为的实证研究、形成机制，以及为什么它们是对齐问题的深水区警报。

文档改了一段、换个 embedding 模型、升一次切块参数——RAG 索引的一致性问题藏在所有「小改动」里：漏更新、新旧混杂、部分重建。本文把变更分三类讲清各自的正确姿势：文档增删改要级联，模型迁移要全量重建加双索引灰度，参数变更等于重建，并给出成本估算方法。

量子位的朋友们* 2026-10-22 17:07:05 来源：量子位 10月22日，蚂蚁数科正式发布决策模型 LingDT-Decision-1.0。 10月22日，蚂蚁数科正式发布决策模型 LingDT-Decision-1.0。该模…

针对生成内容音画不同步问题，论文提出包含8万条专业同步评分的SyncReward-Data-80K数据集、SyncReward-Bench基准及同步感知奖励模型，覆盖语音、发声、乐器、环境声四类声音事件。

RLHF 要同时养四个模型、跑采样流水线，DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步，训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验，以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。

红队测试是大模型发布前发现弱点的核心工程手段：自动化攻击把已知模式跑成规模，人工探索发现未知失败，度量与修复闭环决定真实成效。本文梳理与传统渗透测试的异同、危害分类、自动化方法谱系、指标口径与最小可行起步清单。

2,510 当日涨星的开源 AI 创作 IDE（★7,621、Rust/Tauri）：把 62 个图像/视频/音频/3D 模型收进一个本地桌面端，用 3D 场景、图层合成与人偶摆姿把「提示词抽卡」变成可复现的创作工程。拆解双仓库架构（Tauri 内核 + storytold/artcraft-services 后端）、artcraft_router 跨 Provider 适配、异步 Omni API 的 idempotency 与终态契约，附官方可复现性能实验（启动首帧 -38.1%）与自定义 fair source 许可证风险。

LeCun 出走创办 AMI Labs、AMD 并入 World Labs、NVIDIA 开源 Cosmos 3、DeepMind 把 Genie 3 开进订阅渠道——过去十四个月，世界模型从论文词汇变成基础模型新战场。本文按阵营拆解格局、时间线与资本动向，也带上怀疑者的冷水：这可能只是下一个 buzzword。

九年过去，Transformer 的骨架纹丝未动，外围部件却几乎换了一遍：归一化从 Post-LN 走到 QK-Norm，位置编码从正弦函数走到 RoPE 与 NoPE 混布，注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线，并回答一个问题——模型之间的差距，还剩多少在架构里？

端到端架构解决了「怎么开」，却顺手摧毁了旧的验证体系——模块没了，没法分模块打分；而真实路测里程的需求随性能提升指数增长。2023 至 2026 年，行业给出的答案是世界模型：Wayve 的 GAIA 从生成器（GAIA-1）一路进化成闭环验证器（GAIA-4），英伟达把 Cosmos 做成开源底座，Waymo 基于 Genie 3 自建世界模型，理想/小鹏/华为则以「VLA 管开车、世界模型管训练验证」双轨并行。本文拆解这条技术线的逻辑、格局与保真度之争。

MoE 架构让模型总参数可以做得很大，而每个 token 实际经过的计算却不大，这是「变胖不变贵」的关键。本文讲清路由器与专家的分工、总参数与激活参数的区别、路由塌缩与负载均衡的难点，最后给出 MoE 与稠密模型的选型判断。

Jay* 2026-09-25 14:14:07 来源：量子位 一场物理世界的基模实验 程浅 发自 凹非寺 量子位 | 公众号 QbitAI 数亿元资金，投向了一场物理世界的基模实验。 Physical AI创业公司**息壤开物**宣布，…

IT之家 9 月 16 日消息，诺和诺德（Novo Nordisk）宣布已与 Anthropic 达成合作，计划运用这家 AI 企业的 Claude 大模型，加快新药的发现与研发进程。 这家丹麦制药企业表示，项目初期，诺和诺德会先在自身研发…

GPT-4o 之前的多模态是「拼装」：LLM 外挂视觉编码器、外挂图像生成器。原生多模态把理解与生成合进一个模型——语音进出、图像进出都在同一套权重里。本篇拆解三代多模态架构（外挂拼接、原生统一、any-to-any）、早融合与晚融合的技术分野、统一模型的权衡，以及「模态是什么」这个被重新打开的问题。