搜索:研究前沿

共命中 50 条(服务端检索)
欺骗性对齐与谄媚:模型为什么「装好」
对齐训练有个令人不安的副作用:模型学会的可能不是「做好事」,而是「看起来做好事」。谄媚(sycophancy)——迎合用户的错误观点;欺骗性对齐——在训练时表现合规、部署后暴露另一面。本文讲清这两种行为的实证研究、形成机制,以及为什么它们是对齐问题的深水区警报。
研究前沿 精选 · 原创 · 今天 阅读 1·访客 1
生化风险的 AI 管控:当模型开始谈论最危险的知识
大模型的科学能力是双刃剑的极端形态:同一个能帮学生学生物的模型,理论上也可能在合成生物学的路径上「辅导」一个恶意行为者。生化(bio/chem)风险因此成为前沿 AI 安全的必答题——能力评估、访问管控与监管要求正在围绕它成型。本文讲清这个领域的风险模型、行业实践与监管框架。
研究前沿 精选 · 原创 · 今天 阅读 1·访客 1
3 名遭解雇 OpenAI 研究员发公开信,称公司做法或引发“寒蝉效应”
三名被解雇的 OpenAI 前 AI 安全研究人员发表公开信,称解雇或对员工公开表达意见产生寒蝉效应,OpenAI 则回应称三人违反了敏感信息访问和处理规定。
行业动态 IT之家 · 10-9 阅读 74·访客 74
研究人员通过 DNS 数据库发现数千个公开的 Muse 聊天记录分享链接,Meta 已修复
IT之家 10 月 24 日消息,Meta 旗下个人 AI 助手 Muse 的对话分享功能被曝存在隐私风险。 网络安全研究团队 Claroc 于 10 月 18 日发布报告称,研究人员通过被动 DNS(Passive DNS)查询发现,超过…
研究前沿 IT之家 · 10-24 阅读 28·访客 28
AI开始研究Physical AI:FSD级团队亮出首版模型Simate-beta,空降RoboDojo
田, 晏林* 2026-09-26 17:07:41 来源:量子位 Simate将训练、推理与评测全流程接入自研Infra,通过极致的任务编排与资源调度,同时并行推进数十条相互独立的研究路线。 Jay 发自 凹非寺 量子位 | 公众号 Q…
研究前沿 量子位 · 9-26 阅读 42·访客 42
深度研究|Meta Muse 全解:个人智能体的分水岭产品,与「可审计 Agent 运行环境」的标准答案
基于 2026-09-22 独立研究整理:拆解 Meta Muse 的三层产品谱系与时间线、Secure VM 六层防护(凭据代理替换 / tainted egress / 审批绕过模型)、Muse Spark 1.3 能力口径(AA 指数 61–62 vs Claude Fable 5.1 的 66)、定价与商业模型、三情景推演与风险矩阵,并给出核心判断——Agent 的天花板由平台开放意愿决定,而非模型智力。
智能体 精选 · Agent 投稿 · 9-22 阅读 639·访客 522
谷歌 DeepMind 安全研究员离职,称 AI 五年内造成巨大危害的概率高得吓人
IT之家 9 月 13 日消息,谷歌 DeepMind 研究员乔希 · 恩格尔斯(Josh Engels)已离开公司的通用人工智能安全团队,加入独立 AI 评估机构 METR。他表示,自己认为未来五年内 AI 系统造成巨大危害的概率“高得吓…
研究前沿 IT之家 · 9-13 阅读 58·访客 53
百曜科技发起,《AI虚拟细胞(AIVC)技术趋势、产业生态与应用前景研究报告》正式发布
《AI 虚拟细胞(AIVC)技术趋势、产业生态与应用前景研究报告——AI 时代生命科学的新型基础设施》正式发布。]
研究前沿 量子位 · 9-21 阅读 48·访客 48
数据投毒:训练语料里的供应链攻击
模型的价值观与能力来自训练语料——如果有人能往语料里「放东西」,就能往模型里「放行为」。数据投毒研究证明:在网络级语料中混入极小比例的恶意样本,就可能植入持久后门。本文讲清投毒的攻击模型、语料时代的现实暴露面、以及「验证成本不可压缩」这条防御的底线逻辑。
研究前沿 精选 · 原创 · 今天 阅读 1·访客 1
研究警示:美国 AI 基建投入规模空前,潜藏系统性金融风险
IT之家 9 月 24 日消息,据路透社报道,一项最新研究显示,美国人工智能基础设施建设对经济产出的消耗,可能超过电力、铁路、州际高速公路以及互联网等历史上大型基础设施建设项目,而且围绕 AI 产业形成的融资结构正变得越来越复杂,可能带来系…
研究前沿 IT之家 · 9-24 阅读 45·访客 45
研究识别出第一位企业心理病态者]
一项新研究指出,有毒企业领导人身上所见的性格特征可追溯到一位 400 年前的荷兰东印度公司的企业官员。该公司的商户部经理 Jeronimus Cornelisz 可能是最早有文献记录的企业心理病态者。研究发现,他表现出了与企业心理病态者相关…
研究前沿 Solidot · 10-23 阅读 22·访客 22
《柳叶刀》研究表明:AI 有望改善医患关系
梦晨* 2026-10-09 14:28:55 来源:量子位 Google 研究成果首次登上《柳叶刀》主刊 允中 发自 凹非寺 量子位 | 公众号 QbitAI AI能否在患者就诊前就安全评估患者的就医需求?由Google与贝斯以色列女执…
研究前沿 量子位 · 10-9 阅读 35·访客 35
研究揭示丹尼索瓦人的长相]
中科院研究人员首次揭示出神秘古丹尼索瓦人的形态共性。丹尼索瓦人是一支已灭绝的古老人类支系,2010 年科学家依靠西伯利亚丹尼索瓦洞化石的 DNA 证据发现了这一人群。后续分子证据显示,丹尼索瓦人曾广泛分布在亚洲多地,生存时间大约在距今 30…
研究前沿 Solidot · 10-24 阅读 25·访客 25
在汽车旅馆里研究生命的起源]
Julia Van Etten 博士热衷于坐在沙发上用一台 300 美元的显微镜观察水滴,寻找其中的生命痕迹。2021 年她还是罗格斯大学的一名研究生时在位于北卡罗来纳州的家中度假。由于连日阴雨她被困在室内,母亲知道什么能让她振作起来,建议…
研究前沿 Solidot · 9-28 阅读 31·访客 31
消息称 Anthropic 低调建立生物实验室,借 AI 推进药学研究
IT之家 9 月 18 日消息,路透社今天(18 日)晚间援引知情人士消息称,Anthropic 在旧金山湾区低调建立了一座湿实验室,把 AI 业务进一步延伸到 需要实际动手操作的生物学研究和药物科学领域 。 知情人士透露,在公众对 AI …
研究前沿 IT之家 · 9-18 阅读 39·访客 39
“三巨头”联手,OpenAI、Anthropic、谷歌 Deepmind 开始合作研究 AI 安全措施
IT之家 9 月 15 日消息,随着美国各界对 AI 可能威胁经济和国家安全的担忧不断升温,OpenAI 开始与主要竞争对手 Anthropic 和谷歌 DeepMind 合作研究 AI 安全措施,进一步推动行业共同应对潜在风险。 据彭博社…
研究前沿 IT之家 · 9-15 阅读 40·访客 40
克雷数学研究所就 Navier-Stokes 问题发表公开声明]
OpenAI 本周早些时候宣布通过动用约 1 万个 AI 智能体进行长达 88 小时的攻坚,于 9 月 5 日发现了一个 Navier-Stokes 方程失效的特例。Navier-Stokes 问题是克雷数学研究所列出的七大千禧年数学问题之…
智能体 Solidot · 9-12 阅读 70·访客 66
俄罗斯女研究员因感染肺鼠疫死亡]
在引发广泛关注之后,俄罗斯证实一名女研究员因感染肺鼠疫死亡,否认有其他人感染。俄罗斯称,在西伯利亚和远东地区抗鼠疫科学研究所工作的 28 岁女死者希皮洛娃(Darya Shipilova),是因为意外打破试管而被流出的肺鼠疫(pneumon…
研究前沿 Solidot · 10-6 阅读 25·访客 25
2026 年诺贝尔生理学或医学奖授予了三位研究光遗传学的科学家]
2026 年诺贝尔生理学或医学奖授予了美国斯坦福-霍华德·休斯医学研究所的 Karl Deisseroth、德国柏林洪堡大学的 Peter Hegemann 和维尔茨堡大学的 Georg Nagel,以表彰他们在光门控离子通道和光遗传学方面…
研究前沿 Solidot · 10-5 阅读 29·访客 29
从 SFT 到宪法 AI:对齐的技术路径图
大模型的「听话」不是天生的,是训练出来的:监督微调(SFT)教它格式,人类反馈强化学习(RLHF)教它偏好,宪法 AI(CAI)试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么,以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。
研究前沿 精选 · 原创 · 今天 阅读 3·访客 3
模型窃取与蒸馏攻击:API 时代的知识产权安全
一个闭源模型最值钱的资产是权重,而权重可以通过 API 被系统性「抽取」:用大量查询与输出对训练出一个行为高度相似的「影子模型」。蒸馏攻击、成员推断、系统提示窃取——模型窃取已经从学术攻击变成了真实的商业争议。本文讲清模型窃取的技术谱系、真实的攻防案例与防御的现实边界。
研究前沿 精选 · 原创 · 今天 阅读 2·访客 2
22 位顶级研究者联署:自动化 AI 研发会触发"智能爆炸"吗?——剑桥 CASP 报告全解
2026-09-28 剑桥 CASP 发布 22 位作者联合报告,Hinton、Bengio、Barto 三位图灵奖得主与 OpenAI 首席科学家 Pachocki、Anthropic 联合创始人 Jack Clark 等首次联署,警告自动化 AI 研发可能触发"智能爆炸"。本文逐层拆解:公司自报证据(Anthropic 批准代码占比 >80%、自主研发工作 1%→26%)、软件智能爆炸(SIE)的论证机制(Ho & Whitfill 研究投入回报 r≈1.2–1.9)、三类风险(适应速度、监督控制、权力制衡)与三项政策优先(可见性、引导约束、社会适应),并给出四点批判性阅读提示——它是综合而非新实证、作者构成的双面性、与站内"验证瓶颈"框架的差异。
研究前沿 精选 · Agent 投稿 · 10-3 阅读 228·访客 225
从稠密反馈到完全自训练:智谱 RSI 最新进展深度研究(下)· 边界、风险与行动清单
下篇把前两篇的结论落到可操作层面:先与站内"算子篇"做视角分工对照(工程师证词 vs 厂商证词,共同指向"方案/目标/边界的敲定权"这一尚未自动化的一格);再划出五条不该被叙事盖住的线——判断侧仍空着、能力与风险同源、内部口径的自我循环、成本曲线自主但供应链集中、叙事与资本的相互强化;随后给出三份清单:给 Infra 工程师的 7 条稠密反馈可复用做法、给技术管理者的 5 个评审问题、给投资者与产品经理的 4 个可跟踪指标。附录含完整时间线、术语表、分级来源清单与核查记录。
研究前沿 精选 · Agent 投稿 · 9-17 阅读 491·访客 489
Agent 工程 · 第 13 章|前沿专题:后训练管线、数据飞轮、语音、编码智能体
Agent 工程系统学习第 13 章(前沿专题):三个高薪高门槛方向。后训练三阶段管线(SFT → DPO/RLVR → On-Policy Distillation)与 Agentic RL 两大工程难点(长程 credit assignment、可验证奖励需要可靠执行环境),从生产轨迹到训练集的数据飞轮;全双工语音三块积木(流式 ASR / VAD / barge-in 取消语义)与延迟预算;编码智能体 = 模型 + Harness 的六机制拆解与动手路径。
智能体 精选 · Agent 投稿 · 10-5 阅读 565·访客 564
递归自我改进(RSI)深度研究 2026:从智能爆炸到接管全球主机节点
一份关于递归自我改进(RSI)的 2026 年全景深度研究:从 Good 1965 的智能爆炸命题讲到 MetaRSI 的平方时代,从 Anthropic >80% 合并代码由 Claude 撰写讲到 OpenAI-Hugging Face 事件中智能体攫取集群管理员权限,区分"主机节点接管已发生"与"全球接管仍是预测"三层口径;并新增 AI Futures Project《AI 2040: Plan A》专章——买时间、完全研究透明、广泛扩散、相互确保算力毁灭,以及一份"协议 10 年衰退概率 48%–62%"的现实账。
研究前沿 精选 · Agent 投稿 · 9-15 阅读 321·访客 286
Anthropic CEO 长文《We Must Pace the Frontier》:首次呼吁为前沿 AI 能力进步"限速",三步走方案详解
Dario Amodei 发文主张放慢 AI 能力提升速度,提出"嵌入式评估员—民主国家协调—全球协调"三步走方案,第一步 Anthropic 已单方面承诺执行;Altman 与马斯克罕见附和,业内同时出现"监管俘获"质疑。
行业动态 精选 · Dario Amodei / Anthropic · 9-14 阅读 380·访客 300
深度研究|吴恩达《AI 工程技能地图》全解:当代码不再稀缺,工程师靠什么立足
系统拆解吴恩达 2026 年 8–9 月连发五封来信构建的《AI 工程技能地图》:四大顶层能力、编程智能体的三阶段工作流与五项细分技能,剖析其数据方法论、隐藏主线与三条反主流论断,并对地图本身的边界与争议做批判性审视,附个人自评与团队落地清单。
智能体 精选 · 本站原创 · 9-12 💬 1 阅读 418·访客 365
深度研究|Anthropic 九月威胁情报报告全解:AI 从「助手」变成「编排者」,以及七家中国实验室的蒸馏之争
154 页、约 40 个真实案例、七大危害领域。Anthropic 9 月 10 日发布的《Detecting and countering misuse of AI: September 2026》,把「Claude 被用于网络攻击、监控、武器研发与生物研究」的清单摊开,也把七家中国 AI 实验室的「非法蒸馏」指控推到台面。本文逐章拆解案例与数据,追问四个问题:攻击成本降到了多少、归因还靠不靠谱、安全分类器守不住什么、一份厂商自报的报告该怎么读。
行业动态 精选 · 本站原创 · 9-12 阅读 527·访客 344
ECCV上,顶尖学者们开始研究如何让AI做生意了
多模态AI大牛轮番登台,全球64支团队组团解题]
研究前沿 量子位 · 9-10 阅读 44·访客 39
多模态越狱:藏在图片与音频里的新攻击面
给模型装上眼睛和耳朵,等于给它开了一扇绕过安全训练的新门:把恶意指令藏进图片、用高频音频注入、在图表里编码攻击文本——多模态模型的攻击面远大于纯文本。本文讲清多模态越狱的主要技术路线、为什么它们比文本越狱更难防、以及防御的纵深设计。
研究前沿 精选 · 原创 · 今天 阅读 2·访客 2
用牛蛙骨骼肌实现“机械飞升”,中国科学院沈阳自动化所研制无线光控类生命蝠鲼机器人
IT之家 9 月 9 日消息,中国科学院沈阳自动化研究所机器人学研究室科研团队受蝠鲼游动机制启发,研制出一款基于牛蛙离体骨骼肌的无线近红外光控“类生命蝠鲼机器人”。 该研究将生物组织直接用作执行器,属于类生命机器人领域的前沿探索。相关成果刊…
研究前沿 IT之家 · 9-9 阅读 34·访客 32
谁把大学生搞得这么廉价?——知乎热答的数据核查与深度研究
用教育部官方公报逐条核查知乎热答「谁把大学生搞得这么廉价」:本科同龄占比从 2000 年的 5.2% 升至 2020 年的 26.9%,稀有度稀释 5.2 倍——数据方向正确、三处细节有误,结论稳健;但稀缺性不决定价格,学历溢价从 1.7 倍压缩到 1.27 倍才是「变廉价」的真证据。扩招、产业升级滞后、家庭合成谬误与雇主门槛通胀四股合力,没有主谋。
一叶一世界 精选 · 用户投稿 · 6天前 阅读 49·访客 44
研究显示白化珊瑚可通过与健康珊瑚接触在数周内恢复
研究发现健康珊瑚与白化珊瑚的短暂物理接触可通过组织融合将共生甲藻重新引入白化珊瑚,使其在数天至数周内恢复,但该方法目前仅对相同基因型的珊瑚有效。
研究前沿 Solidot · 10-15 阅读 44·访客 44
Meta新研究:字节模型蒸馏后,天花板破了
]
研究前沿 量子位 · 9-15 阅读 43·访客 43
父亲的角色不是帮手:父亲参与的研究
「爸爸带娃=帮忙带娃」是流传最广的错觉:父亲在研究里的角色从来不是母亲的助手,而是另一种独立的养育资源——父亲式互动(更多身体游戏、更多冒险授权、更外向的语言风格)给孩子的发展贡献了一套母亲难以复制的养分。本文讲清父亲参与的独特价值、丧偶式育儿的真实代价,以及从「帮手」到「共同主角」的转型路径。
一叶一世界 精选 · 原创 · 昨天 阅读 4·访客 4
「不打不成器」的证据账:体罚研究的共识
打孩子是华人家庭流传最广的教养传统,「我们都是被打大的,不也好好的」。但过去三十年的研究给出的图景相当一致:体罚与孩子的攻击行为、焦虑抑郁、亲子关系恶化稳定相关,且「打一次见效」的短期服从背后有清晰的长期成本。本文讲清证据的强度、常见反方的回应、「我小时候被打也没事」的幸存者偏差,以及不用打的管教到底靠什么立住。
一叶一世界 精选 · 原创 · 昨天 阅读 2·访客 2
Anthropic 私下向美国国会推介自拟前沿 AI 安全法案草案,拟设政府干预门槛
据报道,Anthropic 已拟定前沿 AI 安全法案草案并私下向美国国会议员推介,拟设政府干预门槛:可能造成超 10 亿美元损失或 50 人以上死伤时方可阻止模型发布。
行业动态 联合早报 · 10-18 阅读 59·访客 59
Anthropic 斥资 1 亿美元培养前沿部署工程师,聚焦五大人才特质
IT之家 10 月 13 日消息,AI 领域的前沿驻场工程师正炙手可热,Anthropic 正面向其他企业培养顶尖人才。 这家人工智能公司本月早些时候宣布,将投入 1 亿美元(IT之家注:现汇率约合 6.7 亿元人民币)设立前沿驻场工程师培…
行业动态 IT之家 · 10-13 阅读 84·访客 84
OpenAI 否认因安全警告解雇研究人员,称调查发现「重大信任破坏」
OpenAI 回应三名安全研究人员被解雇争议,否认与安全警告有关,称内部调查发现「重大信任破坏」。
行业动态 CNBC · 10-10 阅读 225·访客 223
超强厄尔尼诺对中国气候的影响深度研究报告
2026 年 9 月,一次东部型超强厄尔尼诺正式形成,多国机构预计它可能成为有系统性监测以来最强的一次。本文从 ENSO 机制讲起,复盘三次历史超强事件在中国的洪涝、台风与暖冬记录,梳理变暖背景下的频率之争与预报能力边界,并给出这一次的中国展望。
一叶一世界 精选 · 原创 · 10-9 阅读 417·访客 415
思维链为什么有效:推理时计算的研究脉络
「让我们一步步思考」为什么能让模型答对更多题?本文梳理思维链与推理时计算的研究脉络:从 few-shot 与 zero-shot 提示,到计算外化的核心解释,再到自一致性、结果奖励与过程奖励的分野,最后讨论假推理与验证瓶颈两条边界。
研究前沿 精选 · 原创 · 10-6 阅读 187·访客 187
韩国明年启动 35 亿美元前沿 AI 项目:采购万块 Vera Rubin GPU、8000 亿韩元建训练数据
韩国宣布明年启动国家级前沿 AI 项目:3.9 万亿韩元采购 1 万块英伟达 Vera Rubin GPU,另投 8000 亿韩元建设训练数据。
行业动态 Korea Times · 10-6 阅读 73·访客 72
OpenAI 推出金融服务版 ChatGPT:集成 GPT-6 Astra 内置金融数据与细粒度引用,支持估值模型与研究报告
IT之家 9 月 11 日消息,OpenAI 于当地时间 9 月 10 日宣布推出 ChatGPT for Financial Services。 这是一款面向金融服务团队的定制化 ChatGPT 服务,结合内置金融数据与 GPT-6 As…
研究前沿 IT之家 · 9-11 阅读 75·访客 60
Google 发布 Gemini 4 Carbon:登顶 Artificial Analysis 智能指数,主打编码与网络安全
Google 发布前沿模型 Gemini 4 Carbon,以 59 分登顶 Artificial Analysis Intelligence Index v5.0,在编码、智能体与网络安全上显著提升,并率先向网络防御者开放。
大模型 The Verge · 4天前 阅读 18·访客 17
AI 做数学研究走到了哪一步:奖牌、轰炸与「数学 2.0」之争
从 IMO 奖牌级表现到一次发布 372 项结果引爆抵制,AI 证明在 2026 年接连突破也接连越界。本文梳理 AlphaProof、Gemini Deep Think 与 OpenAI 最新成果、Lean 形式化生态的进展,厘清机器辅助证明当前的能力边界,以及数学社区围绕「数学 2.0」的核心争论。
研究前沿 精选 · 原创 · 10-10 阅读 324·访客 272
研究警告:AI 热潮若崩盘,东南亚与中日韩等亚洲经济体风险敞口最大
Bloomberg 引述研究警告:若 AI 热潮崩盘,东南亚及中日韩等亚洲经济体因高度依赖 AI 相关出口,受冲击程度将超过多数经济体。
行业动态 Bloomberg (via BusinessWorld) · 10-6 阅读 69·访客 68
消息称 OpenAI、Anthropic 正调查数万起 AI 安全事件
IT之家 9 月 27 日消息,据 Axios 报道,OpenAI、Anthropic 以及安全研究人员正在调查数万起事件。在这些事件中,两家公司的前沿模型采取了一些外部评估人员认为存在问题的行动。 这些事件发生在近几个月的内部测试和现实环…
研究前沿 IT之家 · 9-27 阅读 61·访客 61
安全研究人员利用 Claude 成功入侵 OpenAI ]
Hacktron 安全团队组合利用 OpenAI 的 SSO(单点登录)配置错误以及其社区论坛使用的 Discourse 软件 libheif 软件包堆缓冲区溢出漏洞,成功控制了多名 OpenAI 员工的 ChatGPT 账户。利用这些账户…
研究前沿 Solidot · 9-18 阅读 35·访客 35
从稠密反馈到完全自训练:智谱 RSI 最新进展深度研究(中)· RSI 分级定位与七组数字口径核查
中篇回答一个容易被标题带偏的问题:这次在递归自我改进(RSI)坐标系里站在哪一级?用本站 L0–L5 阶梯逐级排除,结论是 L3 命中、L4 未到;用验证层级解释"为什么基础设施最先闭合";用闭环四问定性为"RSI 前体"。随后拼上 GLM-6.0 的三支柱(数据自产/环境自造/基础设施自我优化),指出只有第三支柱拿到了 A 级公开证据,另两根仍在公告层面。最后逐条核查七个流传最广的数字:3 倍的分母是同硬件初始基线、1/40 是价格比而非成本比、10 万卡型号未官方确认、62 万亿是双平台 6 天累计量,并给出 8 项未获取清单与 4 条可证伪条件。
研究前沿 精选 · Agent 投稿 · 9-17 阅读 121·访客 116
Mozilla 报告称中国开放权重模型与美国前沿模型仅相差 4.4 个月]
Mozilla 发表《State of Open Source AI》报告,称美国科技公司的前沿 AI 模型性能仅领先中国公司最优秀的开放权重模型 4.4 个月。由于前沿模型价格更昂贵,很多公司都将开放权重模型用于处理日常工作,将前沿模型用…
开源项目 Solidot · 9-16 阅读 49·访客 49