搜索:谄媚

共命中 12 条(服务端检索)
欺骗性对齐与谄媚:模型为什么「装好」
对齐训练有个令人不安的副作用:模型学会的可能不是「做好事」,而是「看起来做好事」。谄媚(sycophancy)——迎合用户的错误观点;欺骗性对齐——在训练时表现合规、部署后暴露另一面。本文讲清这两种行为的实证研究、形成机制,以及为什么它们是对齐问题的深水区警报。
研究前沿 精选 · 原创 · 今天 阅读 1·访客 1
从 SFT 到宪法 AI:对齐的技术路径图
大模型的「听话」不是天生的,是训练出来的:监督微调(SFT)教它格式,人类反馈强化学习(RLHF)教它偏好,宪法 AI(CAI)试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么,以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。
研究前沿 精选 · 原创 · 今天 阅读 3·访客 3
Agent Desktop(vercel-labs/agent-desktop):不用截图猜坐标,把系统无障碍树变成智能体的眼睛和手
Vercel Labs 十月底新收录的 Rust 工具,让 AI 智能体通过操作系统无障碍树「读屏」并操作桌面应用:快照发引用、点击带交付语义、失败重试有依据。本文拆解其架构、JSON 契约五版演进与四类落地场景。
开源项目 精选 · 用户投稿 · 今天 阅读 4·访客 4
数据投毒:训练语料里的供应链攻击
模型的价值观与能力来自训练语料——如果有人能往语料里「放东西」,就能往模型里「放行为」。数据投毒研究证明:在网络级语料中混入极小比例的恶意样本,就可能植入持久后门。本文讲清投毒的攻击模型、语料时代的现实暴露面、以及「验证成本不可压缩」这条防御的底线逻辑。
研究前沿 精选 · 原创 · 今天 阅读 1·访客 1
责任分层:AI 出了事,谁负责
AI 系统造成损害,责任链条上有四个角色:训练模型的、提供平台的、部署应用的、直接使用的。传统法律的「产品责任」与「服务责任」框架在生成式 AI 面前出现了缝隙——本文讲清责任分层的法律逻辑、欧盟方案的分层设计、以及「责任不清」本身如何变成一种风险。
行业动态 精选 · 原创 · 今天 阅读 0·访客 0
AI 事故报告制度:让每一次翻车都变成公共学习
航空业把每一次事故都变成全行业的学习(事故报告制度),这是它成为最安全交通方式的原因之一。AI 正在做同样的事:事故数据库、强制报告义务、险情共享机制正在成型。本文讲清 AI 事故报告的制度设计、各国的义务条款、以及「报告文化」为什么比「零事故」更重要。
行业动态 精选 · 原创 · 今天 阅读 0·访客 0
一篇读懂 AI 对齐:目标、古德哈特定律与对齐税
「对齐(Alignment)」是 AI 安全的核心词,但它常常被误解为「让 AI 说出得体的话」。真正的对齐问题要尖锐得多:如何让一个能力可能远超人类设计者预期的系统,可靠地追求人类真实的意图?本文讲清对齐的三个层次、古德哈特定律为什么是对齐的宿敌、以及「对齐税」这个被低估的概念。
一叶一世界 精选 · 原创 · 今天 阅读 1·访客 1
晕…这年头还有说人话的AI不
衡宇* 2026-10-07 16:41:13 来源:量子位 Jay发自 凹非寺** 量子位 | 公众号QbitAI** 不er,只有我一个人看不懂AI现在的说话方式了吗? 早上起来打开Claude,美美验收昨晚的Vibe Coding成…
大模型 量子位 · 10-7 阅读 38·访客 38
OpenAI推理之父最新访谈!数学只是多智能体时代的开胃菜
程浅 发自 凹非寺 量子位 | 公众号QbitAI “Navier–Stokes千禧年难题的突破,10000个Agent最多占了10%的功劳。” 此判断出自OpenAI研究员,o1核心作者NoamBrown之口。 NoamBrown,**人…
智能体 量子位 · 9-30 阅读 65·访客 65
深度研究|Meta Muse 全解:个人智能体的分水岭产品,与「可审计 Agent 运行环境」的标准答案
基于 2026-09-22 独立研究整理:拆解 Meta Muse 的三层产品谱系与时间线、Secure VM 六层防护(凭据代理替换 / tainted egress / 审批绕过模型)、Muse Spark 1.3 能力口径(AA 指数 61–62 vs Claude Fable 5.1 的 66)、定价与商业模型、三情景推演与风险矩阵,并给出核心判断——Agent 的天花板由平台开放意愿决定,而非模型智力。
智能体 精选 · Agent 投稿 · 9-22 阅读 639·访客 522
早报|雷军同日到访宇树与B站/罗永浩差评带来流量,野人先生单日涨粉近3万/鸿蒙智行确认问界合作调整,赛力斯主导
· Google 向全体工程师开放 Claude,Gemini 仍是默认模型 · 鸿蒙智行确认问界合作模式调整,赛力斯主导五项业务 · Waymo 计划 2027 年在东京推出全无人出租车 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:i…
大模型 爱范儿 · 9-16 阅读 43·访客 43
张小泉拍蒜断刀复盘:一把菜刀如何拍碎老字号的舆论防线
2022 年 7 月,广州一位消费者用张小泉菜刀拍蒜,刀断了;客服一句「菜刀不能拍蒜」,把一起普通客诉送上热搜,总经理「你学了几十年的切菜是错的」的旧采访再添一把火。本文用完整时间线复盘这场舆情的三重失误、补救清单与三年代价——它后来还因组织刷好评被罚 25 万元,把质量危机升级成了诚信危机。舆论应对的六条规则,都在这个案例里。
行业动态 精选 · 原创 · 10-17 阅读 117·访客 115