推理时多花算力能换准确率：self-consistency 投票、过程奖励模型引导搜索、budget forcing 强制续想，三条路线各有边界。本文以 s1 论文与 2025–2026 年的 overthinking 研究为轴，梳理 test-time scaling 的效果账与失效点。

以十个问答讲清 Scaling Laws：幂律为什么可外推、Chinchilla 如何修正参数与数据的配比、6ND 公式怎么当算力换算器、数据枯竭与推理时算力这两条新变量，以及这门「经验定律」对大公司与创业者的不同含义。

Test-time scaling can improve large language model reasoning by generating and combining multiple candidate responses. I…

2017 年 6 月，八位 Google 研究员在一篇机器翻译论文里抛弃了循环网络，标题只有五个词：Attention Is All You Need。此后九年：GPT-3 证明规模即能力、ChatGPT 两个月一亿用户、Scaling Laws 驱动军备竞赛、DeepSeek 用十分之一成本撼动算力叙事、推理模型开启第二条扩展曲线。本文是「机器学习简史」系列完结篇，所有 2024 年后的关键事实均经联网核实，带你看清截至 2026 年 10 月的大模型版图，与依然悬而未决的终极争论。

2017 年 Ali Rahimi 领奖时说「机器学习变成了炼金术」，LeCun 当场反驳；八年过去，模型能力涨了几个数量级，「为什么泛化」的数学解释仍然是一堆可解模型里的定理。本文盘点深度学习数学基础的现状：随机标签实验、双下降、NTK、grokking、scaling laws 各自被解释到了哪一步，哪一步仍然卡住，以及 2026 年「学习力学」的学科宣言算不算转折点。

Static coding benchmarks are fixed at release. Over time their tasks leak into training data, and stronger agents eventu…

Reinforcement learning (RL) is the central training paradigm for advancing large foundation models towards self-improvem…

Most modern multimodal large language models (MLLMs) build on a pretrained visual encoder that provides a strong visual …

While Large Language Models (LLMs) advertise million-token context windows, reasoning quality often collapses as inputs …

Jay* 2026-09-25 14:14:07 来源：量子位 一场物理世界的基模实验 程浅 发自 凹非寺 量子位 | 公众号 QbitAI 数亿元资金，投向了一场物理世界的基模实验。 Physical AI创业公司**息壤开物**宣布，…

A multi-agent system can reduce latency on complex tasks by executing work concurrently. Several pioneering harness fram…

Training capable coding agents via reinforcement learning (RL) requires diverse tasks with reliable verifiers. Open-sour…

As coding agents move from supervised code completion to unattended, around-the-clock exploration, their work expands fr…

World-action models (WAM) predict future states to guide robot actions, enabling learning from both action-free video an…

Automating empirical research is a long-standing direction of AI. Recent automatic research (AutoResearch) agents bring …

Computer-use agents (CUAs) are rapidly improving, yet synthesizing diverse and reliable software environments at scale r…

论文提出个性化测试时扩展（Personalized Test-Time Scaling）问题，将用户对精度、延迟与推理成本的联合要求纳入优化目标，并给出摊销式智能体策略发现框架 PersonTTS 以降低为不同用户需求重复搜索策略的开销。

Automated research systems increasingly run LLM agents over long horizons, but more inference does not by itself produce…

Preference distillation typically treats a teacher response as preferred and the student's own response as rejected. Thi…

Scaling language models to long contexts is limited by the quadratic cost of self-attention. Block sparse attention offe…

AI factories are the infrastructure of the intelligence era. Scaling them responsibly will depend as much on innovation …

System performance, efficient infrastructure scaling and continuous software optimization are key levers that determine …

We introduce LimiX-2, a new model in the LimiX family, developed through model and data scaling guided by our previously…

Scaling large language models efficiently has motivated sparse capacity mechanisms such as Mixture-of-Experts and, more …

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

o1 系列通过强化学习训练模型'先思考再回答'，在数学、代码与科学推理上大幅跃升，开创了推理时扩展（Test-time Compute）的新 Scaling 维度。

The U.S. Air Force will buy data collected by WindBorne Systems‘ fleet of autonomous weather balloons under a new contra…

As AI factories grow from megawatts to gigawatts, building them takes more than advanced computing. Open standards are h…

Journalists, entrepreneurs, and even some public relations professionals will tell you that the PR process is broken (bu…

Oct 11, 2026 AI agent teams deliver almost no better results than single agents, research finds.** Evals company Vals AI…

从叠加假说、稀疏自编码器到归因图，机械可解释性在 2026 年第一次跑进生产线：Anthropic 能画出 Claude 的思维回路，OpenAI 从 GPT-4 抽出 1600 万特征，Goodfire 本周把内部探针做成低价监测产品。本文梳理核心进展、落地场景与「SAE 是否找到真实特征」的根本性质疑。

Epoch AI 估算公开人类文本有效存量约 300 万亿 token，按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半，以及 2026 年预训练数据策略的真实格局。

从取模分片的痛点讲起：普通哈希为什么一扩容就让几乎全部数据搬家；哈希环与虚拟节点如何把迁移量压到 1/N 并治住数据倾斜；再用可运行的对照代码，对照 Ketama、Dynamo 与 Redis Cluster 槽位方案的真实取舍。

固定窗口、滑动窗口、漏桶、令牌桶四种限流算法逐个拆解：各自怎么工作、临界突刺藏在哪、适合什么场景。附固定窗口与令牌桶的可运行 TypeScript 实现，最后给一张选型表，并交代 Redis + Lua 的分布式落地现实。

Visual representations are largely developed for understanding, yet what makes them useful for generation remains unclea…

Jay* 2026-10-09 16:47:34 来源：量子位 这是一台机器人正在关闭微波炉门时，因人手突然插进来而紧急悬停的时间 Jay发自 凹非寺 量子位 | 公众号QbitAI 0.2秒。 这是一台机器人正在关闭微波炉门时，因人手突…

2026 年 9 月底 gVisor 被捐赠给 CNCF，官方安全档案里约 110 个内核高危漏洞 96% 被直接防御、零个被攻破。本文拆解它的 Sentry/Gofer 三进程模型、systrap 系统调用拦截、directfs 文件代理与多层防御设计，澄清 Cloud Run 与 Kubernetes agent-sandbox 的两处常见误传，并给出它与 microVM 的选型对比：谁该走哪条路线。

LeCun 出走创办 AMI Labs、AMD 并入 World Labs、NVIDIA 开源 Cosmos 3、DeepMind 把 Genie 3 开进订阅渠道——过去十四个月，世界模型从论文词汇变成基础模型新战场。本文按阵营拆解格局、时间线与资本动向，也带上怀疑者的冷水：这可能只是下一个 buzzword。

2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%，2025 年 1 月 DeepSeek-R1 把整套方法开源复现，到 2026 年 10 月，推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线，拆解推理模型的完整炼成路径，也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。

2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。

混合专家（MoE）让模型参数量与计算量解耦，但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线，拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节，并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。

解码阶段的大模型是内存带宽问题：一次前向读完几十 GB 权重，却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证，修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。

GPT-3 有 1750 亿参数却不会「听懂指令」，InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习，让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。

DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

自回归生成每产出一个 token，都要回看之前所有 token 的 K 与 V——不缓存，计算量随序列平方爆炸；缓存了，显存又成了新瓶颈。本文算清 KV cache 的显存账（Llama-2-7B 4096 上下文约 2 GB），拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法，以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。

给已有 Agent 框架做 RL 后训练，通常要把业务逻辑重写成训练代码。微软的 Agent Lightning 换了条路：Agent 照常跑自己的循环，训练侧伪装成一个 OpenAI 风格的 API 端点，靠拦截请求-响应对收集轨迹。v1.0 技术报告里，Qwen3.5-9B 编码 Agent 在 SWE-bench Verified 上从 41.8% 提到 56.4%。本文拆解它的架构、算法与社区争议。

论文提出EngramEdit方法，利用DeepSeek Engram式条件记忆架构，在不改动Transformer骨干的情况下对事实知识进行解耦更新，并应对不同表述激活不同n-gram嵌入及共享嵌入误伤其他事实预测的挑战。

提出基于JEPA的机器人世界模型RoboJEPA，在覆盖12种机器人本体的数据集上训练，发现其想象误差随算力呈二阶幂律，可预测模型质量与下游规划性能的扩展规律。

论文提出Long-WAM框架，在实时控制约束下扩展因果世界-动作模型的视觉历史上下文，发现自回归预训练的视频基础模型才能让更长历史带来收益，在RoboCasa GR-1上将成功率从63.3%提升到78.7%。

TechCrunch Disrupt 2026** is seven days away, bringing 10,000+ founders, investors, operators, and tech leaders to Mosco…