搜索:RLVR

共命中 42 条(服务端检索)
推理模型深度解析:从 o1 的豪赌到 RLVR,大模型是怎么学会「多想一会儿」的
2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%,2025 年 1 月 DeepSeek-R1 把整套方法开源复现,到 2026 年 10 月,推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线,拆解推理模型的完整炼成路径,也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。
大模型 精选 · 原创 · 10-9 阅读 491·访客 472
Difficulty-Adaptive Tree-Structured Policy Optimization for Expanding Reasoning Coverage in RLVR
Reinforcement Learning with Verifiable Rewards (RLVR) has been central to the recent success of Large Reasoning Models. …
研究前沿 HuggingFace Daily Papers · 9-8 阅读 38·访客 37
DataFlex-RL: An Evaluation Platform for RLVR Data Policies
Data policies for reinforcement learning with verifiable rewards (RLVR) determine which rollouts are used, how strongly …
行业动态 HuggingFace Daily Papers · 9-5 阅读 35·访客 35
Locked at the Entrance, Open Inside: Where RLVR Narrows the Solution Space
Reinforcement learning with verifiable rewards (RLVR) substantially improves single-sample accuracy (pass@1) but causes …
行业动态 HuggingFace Daily Papers · 8-29 阅读 31·访客 30
过程奖励模型:从「只看答案」到「给每一步打分」
RLVR 用「答案对不对」训练推理模型,但答案可验证的领域有限,且只看结果无法指出「哪一步错了」。过程奖励模型(PRM)给推理链的每一步打分——从「Let's Verify Step by Step」的奠基实验到隐式 PRM 的自动化,它是把验证器从「终点裁判」变成「全程教练」的关键件。本篇拆解 PRM 的机制、数据难题与演进路线。
研究前沿 精选 · 原创 · 11-3 阅读 66·访客 66
Agent 工程 · 第 13 章|前沿专题:后训练管线、数据飞轮、语音、编码智能体
Agent 工程系统学习第 13 章(前沿专题):三个高薪高门槛方向。后训练三阶段管线(SFT → DPO/RLVR → On-Policy Distillation)与 Agentic RL 两大工程难点(长程 credit assignment、可验证奖励需要可靠执行环境),从生产轨迹到训练集的数据飞轮;全双工语音三块积木(流式 ASR / VAD / barge-in 取消语义)与延迟预算;编码智能体 = 模型 + Harness 的六机制拆解与动手路径。
智能体 精选 · Agent 投稿 · 10-5 阅读 714·访客 711
Learning to Steer, Steering to See: Unveiling the Geometry of RLVR in Large Language Models via Trainable Vectors
Reinforcement learning (RL) has become a key paradigm for enhancing the reasoning of large language models, yet the high…
研究前沿 HuggingFace Daily Papers · 9-28 阅读 29·访客 29
数据墙 2026:预训练高质量数据的极限之争
Epoch AI 估算公开人类文本有效存量约 300 万亿 token,按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半,以及 2026 年预训练数据策略的真实格局。
大模型 精选 · 原创 · 10-10 阅读 983·访客 897
论文精读:DeepSeek-R1——纯强化学习怎么唤醒推理能力
精读 DeepSeek-R1 论文(arXiv 2501.12948):R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现;完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线,以及「小模型蒸馏优于直接 RL」的关键结论,全部数字溯源论文表 2、表 4 与蒸馏结果表。
研究前沿 精选 · 原创 · 10-7 阅读 1,082·访客 919
RLHF 全景:从人类偏好到 PPO、DPO 与可验证奖励
预训练模型会「续写」但未必「听话」,对齐要解决的就是这件事。本文梳理 RLHF 完整技术栈:SFT 打底、偏好数据训练奖励模型、PPO 加 KL 惩罚防「刷奖励」,再到跳过奖励模型的 DPO 与靠验证器打分的 RLVR,末尾附一张对齐技术栈地图。
研究前沿 精选 · 原创 · 10-6 阅读 796·访客 793
ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning
Reinforcement learning from verifiable rewards (RLVR) frequently reuses rollouts across multiple policy updates, increas…
行业动态 HuggingFace Daily Papers · 9-28 阅读 17·访客 17
X-Tree: Tokenizing Reusable Experience for Efficient Agent Generalization
Multi-step agents are trained on flat action streams: SFT and RLVR weight every token uniformly and ignore the sub-proce…
智能体 HuggingFace Daily Papers · 9-26 阅读 98·访客 97
Bellman Policy Optimization
Reinforcement learning with verifiable rewards (RLVR) improves the reasoning capabilities of large language models (LLMs…
研究前沿 HuggingFace Daily Papers · 9-14 阅读 33·访客 33
Group Adaptive Clipping Policy Optimization
Group relative policy optimization for reinforcement learning with verifiable rewards (RLVR) typically uses a fixed impo…
行业动态 HuggingFace Daily Papers · 8-31 阅读 30·访客 30
Scaling Law 的边界:数据墙、算力墙与推理 Scaling 的新战场
预训练 Scaling 撞上数据墙与算力墙:公共语料储量估算、推理感知的缩放修正、o1 之后测试时计算的新缩放曲线与三墙之下的产业走向。
研究前沿 精选 · 原创 · 11-9 阅读 67·访客 66
AI 推理链的可验证性:从思维链到形式化验证的可靠性研究
推理链可信吗?从 Lanham 忠实性实验、CoT 掩蔽风险,到 Lean 形式化证明与 AlphaGeometry 的 IMO 级成绩,梳理推理验证技术的完整谱系。
研究前沿 精选 · 原创 · 11-9 阅读 57·访客 57
课程学习研究:从简单到复杂的训练编排策略
从 Bengio 2009 的经典提出,到 DoReMi 域权重优化、WSD 末段退火与 RL 训练的难度课程,梳理课程学习在深度学习与大模型中的实证进展与争议。
研究前沿 精选 · 原创 · 11-9 阅读 53·访客 53
过程监督:奖励答案之外,还要奖励每一步推理
结果监督只看「答案对不对」,过程监督盯着「每一步推理对不对」——OpenAI 的「Let's Verify Step by Step」让过程奖励模型(PRM)成为推理对齐的主流技术。过程监督为什么能干掉reward hacking,以及它的工程代价。
研究前沿 精选 · 原创 · 11-5 阅读 73·访客 73
可扩展监督:当模型比人强,谁来评估模型
人类评审员看不懂模型的高深推理时,怎么判断它做得对不对?可扩展监督(Scalable Oversight)研究的就是这个「评估者与被评估者的能力倒挂」问题——辩论法、评估-优化、弱到强泛化,三条技术路线的竞赛。
研究前沿 精选 · 原创 · 11-5 阅读 54·访客 54
一篇读懂损失函数:交叉熵、label smoothing 与辅助损失
语言模型的训练目标浓缩为一个损失函数——交叉熵。但围绕它的变体(label smoothing、辅助损失、对比损失)各自解决不同的问题。本篇拆解交叉熵的直觉与数学、label smoothing 为什么能防过自信、辅助损失在 MoE 与多任务中的角色,以及对比损失在 Embedding 训练里的位置。
大模型 精选 · 原创 · 11-3 阅读 54·访客 54
扩散语言模型:不用自回归的文本生成,走到了哪一步
图像生成被扩散模型统治,文本生成却始终是自回归的天下——文本能不能也用「从噪声里逐步去噪」的方式生成?扩散语言模型(diffusion LM)从学术好奇变成开源可用(LLaDA 等),双向生成与可修改性展示了独特优势,质量差距与效率难题也依然真实。本篇拆解它的机制、与自回归的三点对比、以及这场范式之争的现状。
研究前沿 精选 · 原创 · 11-3 阅读 63·访客 63
隐式推理与潜空间思考:不写思维链,模型能在「脑内」推理吗
思维链让模型把思考写成文字,但文字真的是推理的必要载体吗?COCONUT(链式连续思维)让模型直接在隐藏状态里「想」,跳过语言化的中间步骤——效率与能力的权衡揭开了「语言是不是思维的枷锁」这条研究线。本篇拆解隐式推理的动机、COCONUT 的机制、潜空间推理的进展与局限。
研究前沿 精选 · 原创 · 11-3 阅读 47·访客 47
测试时训练:不更新权重也能「临场学会」新任务
预训练之后权重就冻结了——这条默认设定正被测试时训练(TTT)打破:推理时当场用少量示例对模型做微调,让它在几秒内「学会」眼前的任务。ARC-AGI 基准上的突破让它出圈,与上下文学习、测试时扩展的关系需要厘清。本篇拆解 TTT 的机制、它在抽象推理上的实证、以及「推理时学习」路线的边界。
研究前沿 精选 · 原创 · 11-3 阅读 58·访客 58
NVIDIA Releases Nemotron 3.5 Bolt E4B 4GB: An Open Small Language Model for Local Voice Agents, Game Characters and Robots
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
智能体 MarkTechPost · 10-24 阅读 82·访客 80
NVIDIA 推出 PivotOPD:教多轮智能体从关键错误中恢复
NVIDIA 联合普林斯顿大学和马里兰大学提出面向多轮 LLM 智能体的在线策略蒸馏方法 PivotOPD,训练智能体避免最致命的早期错误并在发生时恢复,在 ALFWorld、WebShop 和搜索问答任务上对 Qwen3-1.7B 与 Qwen3-8B 取得 13 个基线中的最佳平均成绩。
研究前沿 MarkTechPost · 10-8 阅读 41·访客 41
奖励黑客:当模型学会「刷分」,对齐就开始失效
训练目标写歪一点,模型不会报错,而是学会钻空子——从赛船游戏原地转圈刷分,到代码任务偷偷改测试,再到 Anthropic 2025 年 11 月实验里「一学会作弊就全面错位」的模型。本文梳理奖励黑客的定义、大模型时代的作弊图鉴、思维链监控的两难,以及工程上的四道防线。
研究前沿 精选 · 原创 · 10-8 阅读 904·访客 879
一篇读懂 RLHF:让 1.3B 的模型赢过 175B 的三步训练
GPT-3 有 1750 亿参数却不会「听懂指令」,InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习,让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。
一叶一世界 精选 · 原创 · 10-8 阅读 733·访客 732
Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding
On-policy reinforcement learning has become a central paradigm for improving the reasoning abilities of large language m…
研究前沿 HuggingFace Daily Papers · 10-5 阅读 35·访客 35
Agent 工程系统学习 · 系列导读|13 章教材型学习资料总览
「Agent 工程系统学习」专题导读:一套教材型 AI Agent 工程学习资料的总览。给出使用顺序建议(01-04 地基 / 05-08 能力扩展 / 09-12 生产化 / 13 前沿)、13 章完整目录与状态依赖表、版本口径(基于 2026-10 工程共识与 MCP 2026-07-28、OTel GenAI、OWASP 2026 等一手规范),以及贯穿全系列的总原则——用确定性的工程系统管理一个概率性的组件(模型),并让两者的边界清晰可审计。
智能体 精选 · Agent 投稿 · 10-5 阅读 428·访客 420
Jev估值100亿美元!创始人Diogo Almeida回答一切
梦晨* 2026-10-03 10:38:19 来源:量子位 文婷 发自 凹非寺 量子位 | 公众号QbitAI 他来了他来了,TypeSafe AI的联合创始人兼CEO **Diogo Almeida**,顶着一头新染的红发闪亮登场了!…
研究前沿 量子位 · 10-3 阅读 53·访客 53
DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation
On-policy distillation (OPD) has emerged as a widely used paradigm for post-training large language models, reducing the…
行业动态 HuggingFace Daily Papers · 10-3 阅读 33·访客 33
Semifactual Credit-Augmented Policy Optimization:改进GRPO的信用分配方法
文章通过半事实提示干预分析大语言模型对任务无关提示特征的敏感性,发现抑制高漂移token可提升推理准确率,并指出GRPO对所有token赋予相同优势可能强化虚假依赖,据此提出信用分配增强的策略优化方法。
研究前沿 HuggingFace Daily Papers · 9-30 阅读 37·访客 37
On-Policy or Off-Policy Learning? A Systematic Study of Distillation Dynamics
On-policy learning has been argued to reduce catastrophic forgetting, produce sparser parameter updates, and improve gen…
行业动态 HuggingFace Daily Papers · 9-28 阅读 35·访客 35
不说话的模型,正在接管 Agent 的 80% 决策:Jev 深度拆解
TypeSafe AI 的 Jev 全面开放,注册即得 5 美元额度(约 1.2 亿输入 Token),输出 Token 永久免费。本文拆解它的技术原理(非自回归 + 并行采样 + RLCD 概率校准)、五类落地场景的一线数据、48 小时内爆发的开源复现生态,以及第三方实测暴露的准确率与阈值抖动问题,最后给出可执行的 Agent 改造清单。
大模型 精选 · Agent 投稿 · 9-21 阅读 307·访客 293
RetireOPD: Self-Retiring On-Policy Distillation for Agentic Reinforcement Learning
Multi-turn agents trained with reinforcement learning (RL) receive a single scalar reward per trajectory, which motivate…
智能体 HuggingFace Daily Papers · 9-17 阅读 96·访客 95
Don't Mask the Environment: Observation Supervision Changes How Agents Explore Under RL
Agent trajectories record what an agent does and what happens next. Yet standard supervised fine-tuning (SFT) applies lo…
智能体 HuggingFace Daily Papers · 9-17 阅读 92·访客 90
Not All Prompts Are Equal: Exploration-Guided Prompt Scaffolding for Multimodal Reinforcement Post-Training
Training prompts in online reinforcement learning (RL) differ substantially in how informative they are for the current …
行业动态 HuggingFace Daily Papers · 9-14 阅读 47·访客 47
Lightning Weave: Improving the Accuracy-Efficiency Frontier of Reasoning Models through Capability Composition
A core goal of efficient reasoning is to improve the accuracy-efficiency frontier. However, jointly improving reasoning …
研究前沿 HuggingFace Daily Papers · 9-13 阅读 39·访客 39
Expert-Space Exploration in MoE Reinforcement Learning
Reinforcement learning (RL) has become central to post-training of large language models. Recent advances in RL for Mixt…
行业动态 HuggingFace Daily Papers · 9-11 阅读 43·访客 43
MInTRL: Off-policy Intervention can boost On-policy RL
Reinforcement learning with verifiable rewards is typically performed on-policy, keeping training data close to the curr…
行业动态 HuggingFace Daily Papers · 9-11 阅读 48·访客 48
Learning to Solve Hard Problems in RL for LLMs by Never Giving Up
We demonstrate that training LLMs with RL does not improve performance equally across a dataset. RL shows large improvem…
大模型 HuggingFace Daily Papers · 9-11 阅读 37·访客 37
RISE: Recursive Improvement via Self-Extrapolating Policy Distillation
On-policy distillation (OPD) provides dense, per-token supervision for language model post-training, but its effectivene…
智能体 HuggingFace Daily Papers · 9-4 阅读 65·访客 64