文章通过半事实提示干预分析大语言模型对任务无关提示特征的敏感性，发现抑制高漂移token可提升推理准确率，并指出GRPO对所有token赋予相同优势可能强化虚假依赖，据此提出信用分配增强的策略优化方法。

Group Relative Policy Optimization (GRPO) is widely used to train reasoning language models, where it computes advantage…

2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%，2025 年 1 月 DeepSeek-R1 把整套方法开源复现，到 2026 年 10 月，推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线，拆解推理模型的完整炼成路径，也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。

Recent years have witnessed major progress in joint audio-video generation. Existing models still suffer from limited pe…

Tool-calling agents produce heterogeneous outputs, interleaving structured tool invocations with user-facing natural lan…

RLHF 要同时养四个模型、跑采样流水线，DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步，训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验，以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。

精读 DeepSeek-R1 论文（arXiv 2501.12948）：R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现；完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线，以及「小模型蒸馏优于直接 RL」的关键结论，全部数字溯源论文表 2、表 4 与蒸馏结果表。

VIEScore2 将图像表示为 N×N 网格，在单次前向中同时预测图像质量分数与缺陷位置，并在 38K 样本上结合监督微调与 GRPO 训练。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

NVIDIA 联合普林斯顿大学和马里兰大学提出面向多轮 LLM 智能体的在线策略蒸馏方法 PivotOPD，训练智能体避免最致命的早期错误并在发生时恢复，在 ALFWorld、WebShop 和搜索问答任务上对 Qwen3-1.7B 与 Qwen3-8B 取得 13 个基线中的最佳平均成绩。

GPT-3 有 1750 亿参数却不会「听懂指令」，InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习，让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。

给已有 Agent 框架做 RL 后训练，通常要把业务逻辑重写成训练代码。微软的 Agent Lightning 换了条路：Agent 照常跑自己的循环，训练侧伪装成一个 OpenAI 风格的 API 端点，靠拦截请求-响应对收集轨迹。v1.0 技术报告里，Qwen3.5-9B 编码 Agent 在 SWE-bench Verified 上从 41.8% 提到 56.4%。本文拆解它的架构、算法与社区争议。

盘点 2026 年 10 月主流开源 TTS 七个项目（GPT-SoVITS、CosyVoice、F5-TTS、Fish Speech、IndexTTS、Kokoro 等）：机制、音色克隆方式、中文支持与许可证商用限制，附中文效果/实时率/长文本对比表与 F5-TTS 上手示例，兼谈声音克隆的授权与深度伪造合规风险。

Reward post-training of flow models either reweights the model's own samples under a KL penalty or a frozen reference, o…

Agent 工程系统学习第 13 章（前沿专题）：三个高薪高门槛方向。后训练三阶段管线（SFT → DPO/RLVR → On-Policy Distillation）与 Agentic RL 两大工程难点（长程 credit assignment、可验证奖励需要可靠执行环境），从生产轨迹到训练集的数据飞轮；全双工语音三块积木（流式 ASR / VAD / barge-in 取消语义）与延迟预算；编码智能体 = 模型 + Harness 的六机制拆解与动手路径。

On-policy distillation (OPD) has emerged as a widely used paradigm for post-training large language models, reducing the…

Furnished floor plans support real-estate visualization, interior design, and architectural workflows, yet automatic fur…

阿里Qwen团队发布Qwen-Audio-3.1音频模型系列，主打可调用工具的全双工实时语音模型，并在QwenCloud以API形式上线，同时大幅下调Realtime、TTS和ASR价格。

Large language models (LLMs) excel at structured, verifiable tasks, but their low-entropy bias can produce homogeneous a…

While Large Language Models (LLMs) advertise million-token context windows, reasoning quality often collapses as inputs …

High-performance GPU kernels are essential to modern machine learning systems, yet automatically generating kernels that…

Reinforcement learning (RL) for code agents often uses executable tests to provide binary rewards. With these rewards, G…

Video generation begins in text space by authoring a cinematic screenplay, then materializes into pixels. As contemporar…

Kyutai has released **Voice of Reason**, 2 open-weight speech-to-speech models that solve math problems out loud. Both s…

Reinforcement learning has become a central component of large language model (LLM) post-training, yet token-level credi…

Long-term conversational memory in multi-party settings requires more than retrieving relevant content from long-term co…

Jina AI has released jina-ocr-v1, a visual document parser that converts PDFs, scans, tables, charts and invoices into M…

Reinforcement learning (RL) has become a key technique for improving the reasoning and agentic abilities of large langua…

Training capable coding agents via reinforcement learning (RL) requires diverse tasks with reliable verifiers. Open-sour…

Agent trajectories record what an agent does and what happens next. Yet standard supervised fine-tuning (SFT) applies lo…

Large Reasoning Models (LRMs) achieve strong performance on complex tasks but exhibit systematic inefficiency: they ofte…

Google Research has introduced Retrieve-for-Train (R4T), a framework for search that returns coherent, diverse result se…

九大空间测试10B规模通用模型中8项第一]

一篇读懂 2026 年最容易被混为一谈的一对概念：RSI（递归自我改进）改进的是自己的"改进能力"，打在权重与 AI 研发流程上、跨用户且不可逆；Agent 自进化不重新训练模型，靠记忆、技能与 harness 让部署后的表现持续变好。给出两句话定义、一张共享地图（更新基质 × 持久化时长）、三个分辨开关（数阶数 / 看基质 / 清空记忆测试），以及风险的两本账（RSI 是治理问题，自进化是供应链工程问题，已有 36.82% 技能含安全缺陷的审计数据）。本文同时为「一叶一世界」栏目开篇。

把 RSI（递归自我改进）与智能体自进化放回同一个"经验 → 状态 → 行为"闭环做正面对比：前者打在权重与 AI 研发流程上、跨用户且不可逆、风险外部化；后者打在外部文件与 harness 上、跨会话且可回滚、风险由采用者承担。给出六维对比表、闭环四问判定法、"清空记忆测试"，并梳理两者在 ICLR 2026 与 SIA / Meta-Harness 上的合流路径。含 Snyk ToxicSkills 审计（3,984 个技能中 36.82% 有安全缺陷、13.4% 为严重级）、SEA-Eval"片段式失忆症"等一手数据。

Training prompts in online reinforcement learning (RL) differ substantially in how informative they are for the current …

Masked diffusion language models (dLLMs) generate text by iteratively denoising masked tokens with bidirectional attenti…

Reinforcement learning (RL) has become central to post-training of large language models. Recent advances in RL for Mixt…

Reinforcement learning with verifiable rewards is typically performed on-policy, keeping training data close to the curr…

We demonstrate that training LLMs with RL does not improve performance equally across a dataset. RL shows large improvem…

把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点，并给出优先级表与算法工程师/产品经理的行动建议。

Data policies for reinforcement learning with verifiable rewards (RLVR) determine which rollouts are used, how strongly …

DeepSeek 发布并开源 R1 推理模型，纯强化学习激发推理能力，性能比肩 OpenAI o1，API 价格仅为后者数十分之一，引发全球市场震动。