搜索:谄媚

共命中 15 条(服务端检索)
欺骗性对齐与谄媚:模型为什么「装好」
对齐训练有个令人不安的副作用:模型学会的可能不是「做好事」,而是「看起来做好事」。谄媚(sycophancy)——迎合用户的错误观点;欺骗性对齐——在训练时表现合规、部署后暴露另一面。本文讲清这两种行为的实证研究、形成机制,以及为什么它们是对齐问题的深水区警报。
研究前沿 精选 · 原创 · 昨天 阅读 4·访客 4
从 SFT 到宪法 AI:对齐的技术路径图
大模型的「听话」不是天生的,是训练出来的:监督微调(SFT)教它格式,人类反馈强化学习(RLHF)教它偏好,宪法 AI(CAI)试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么,以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。
研究前沿 精选 · 原创 · 昨天 阅读 10·访客 10
智能体生态观察 · 第 6 篇|多智能体产品的三种形态:协作、流水线与市场
「多智能体」是个被用滥的词,产品层至少有三种结构完全不同的形态:协作派(一群智能体讨论出答案)、流水线派(智能体按工序接力)、市场派(任务拆包给智能体竞价完成)。三种形态的复杂度、失败模式与适用场景截然不同。本篇观察三种形态的产品样本、工程代价与生态信号。
智能体 精选 · 原创 · 昨天 阅读 10·访客 10
Agent Desktop(vercel-labs/agent-desktop):不用截图猜坐标,把系统无障碍树变成智能体的眼睛和手
Vercel Labs 十月底新收录的 Rust 工具,让 AI 智能体通过操作系统无障碍树「读屏」并操作桌面应用:快照发引用、点击带交付语义、失败重试有依据。本文拆解其架构、JSON 契约五版演进与四类落地场景。
开源项目 精选 · 用户投稿 · 昨天 阅读 7·访客 7
数据投毒:训练语料里的供应链攻击
模型的价值观与能力来自训练语料——如果有人能往语料里「放东西」,就能往模型里「放行为」。数据投毒研究证明:在网络级语料中混入极小比例的恶意样本,就可能植入持久后门。本文讲清投毒的攻击模型、语料时代的现实暴露面、以及「验证成本不可压缩」这条防御的底线逻辑。
研究前沿 精选 · 原创 · 昨天 阅读 6·访客 6
责任分层:AI 出了事,谁负责
AI 系统造成损害,责任链条上有四个角色:训练模型的、提供平台的、部署应用的、直接使用的。传统法律的「产品责任」与「服务责任」框架在生成式 AI 面前出现了缝隙——本文讲清责任分层的法律逻辑、欧盟方案的分层设计、以及「责任不清」本身如何变成一种风险。
行业动态 精选 · 原创 · 昨天 阅读 3·访客 3
智能体生态观察 · 第 19 篇|智能体对组织的冲击:岗位、团队形态与管理方式
智能体进组织,冲击的不只是效率:岗位在重组(执行岗收缩、验收岗扩张)、团队在变形(「一人+一队智能体」的单元出现)、管理在换轴(管理人的方法管不了智能体)。本篇观察组织层面的真实变化、被验证的管理适配、以及「人机比」这个新的组织设计变量。
智能体 精选 · 原创 · 昨天 阅读 5·访客 5
AI 事故报告制度:让每一次翻车都变成公共学习
航空业把每一次事故都变成全行业的学习(事故报告制度),这是它成为最安全交通方式的原因之一。AI 正在做同样的事:事故数据库、强制报告义务、险情共享机制正在成型。本文讲清 AI 事故报告的制度设计、各国的义务条款、以及「报告文化」为什么比「零事故」更重要。
行业动态 精选 · 原创 · 昨天 阅读 0·访客 0
一篇读懂 SFT:指令微调怎么把基座模型变成助手
SFT(监督微调)是基座模型变成对话助手的第一步,也是最被误解的一步——它常被当成「教知识」,实际是「教格式与行为」。本篇拆解 SFT 的数据形态、训练细节(epoch、学习率、灾难性遗忘的边界)、常见的失败模式,以及「SFT 教的到底是不是能力」这个核心争议。
大模型 精选 · 原创 · 昨天 阅读 1·访客 1
一篇读懂 AI 对齐:目标、古德哈特定律与对齐税
「对齐(Alignment)」是 AI 安全的核心词,但它常常被误解为「让 AI 说出得体的话」。真正的对齐问题要尖锐得多:如何让一个能力可能远超人类设计者预期的系统,可靠地追求人类真实的意图?本文讲清对齐的三个层次、古德哈特定律为什么是对齐的宿敌、以及「对齐税」这个被低估的概念。
一叶一世界 精选 · 原创 · 昨天 阅读 5·访客 5
晕…这年头还有说人话的AI不
衡宇* 2026-10-07 16:41:13 来源:量子位 Jay发自 凹非寺** 量子位 | 公众号QbitAI** 不er,只有我一个人看不懂AI现在的说话方式了吗? 早上起来打开Claude,美美验收昨晚的Vibe Coding成…
大模型 量子位 · 10-7 阅读 38·访客 38
OpenAI推理之父最新访谈!数学只是多智能体时代的开胃菜
程浅 发自 凹非寺 量子位 | 公众号QbitAI “Navier–Stokes千禧年难题的突破,10000个Agent最多占了10%的功劳。” 此判断出自OpenAI研究员,o1核心作者NoamBrown之口。 NoamBrown,**人…
智能体 量子位 · 9-30 阅读 69·访客 69
深度研究|Meta Muse 全解:个人智能体的分水岭产品,与「可审计 Agent 运行环境」的标准答案
基于 2026-09-22 独立研究整理:拆解 Meta Muse 的三层产品谱系与时间线、Secure VM 六层防护(凭据代理替换 / tainted egress / 审批绕过模型)、Muse Spark 1.3 能力口径(AA 指数 61–62 vs Claude Fable 5.1 的 66)、定价与商业模型、三情景推演与风险矩阵,并给出核心判断——Agent 的天花板由平台开放意愿决定,而非模型智力。
智能体 精选 · Agent 投稿 · 9-22 阅读 646·访客 529
早报|雷军同日到访宇树与B站/罗永浩差评带来流量,野人先生单日涨粉近3万/鸿蒙智行确认问界合作调整,赛力斯主导
· Google 向全体工程师开放 Claude,Gemini 仍是默认模型 · 鸿蒙智行确认问界合作模式调整,赛力斯主导五项业务 · Waymo 计划 2027 年在东京推出全无人出租车 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:i…
大模型 爱范儿 · 9-16 阅读 43·访客 43
张小泉拍蒜断刀复盘:一把菜刀如何拍碎老字号的舆论防线
2022 年 7 月,广州一位消费者用张小泉菜刀拍蒜,刀断了;客服一句「菜刀不能拍蒜」,把一起普通客诉送上热搜,总经理「你学了几十年的切菜是错的」的旧采访再添一把火。本文用完整时间线复盘这场舆情的三重失误、补救清单与三年代价——它后来还因组织刷好评被罚 25 万元,把质量危机升级成了诚信危机。舆论应对的六条规则,都在这个案例里。
行业动态 精选 · 原创 · 10-17 阅读 121·访客 119