搜索:人工监督

共命中 50 条(服务端检索)
人机协作的安全边界:自动化偏差与有效监督
“有人在环”不等于有人真正控制。自动化偏差、注意力疲劳和组织激励可能让人工审核沦为盖章;有效监督需要时间、能力、信息与拒绝权,并通过界面设计、双人复核、抽查和责任机制验证。
智能体 精选 · 原创 · 昨天 阅读 1·访客 1
可扩展监督:当模型比人强,谁来评估模型
人类评审员看不懂模型的高深推理时,怎么判断它做得对不对?可扩展监督(Scalable Oversight)研究的就是这个「评估者与被评估者的能力倒挂」问题——辩论法、评估-优化、弱到强泛化,三条技术路线的竞赛。
研究前沿 精选 · 原创 · 11-5 阅读 49·访客 49
过程监督:奖励答案之外,还要奖励每一步推理
结果监督只看「答案对不对」,过程监督盯着「每一步推理对不对」——OpenAI 的「Let's Verify Step by Step」让过程奖励模型(PRM)成为推理对齐的主流技术。过程监督为什么能干掉reward hacking,以及它的工程代价。
研究前沿 精选 · 原创 · 11-5 阅读 66·访客 66
国务院常务会议听取「人工智能+」行动进展汇报:以落地应用牵引技术创新
国务院常务会议听取「人工智能+」行动进展汇报,强调从产业体系完备、应用场景丰富、工程化能力强的实际出发,以落地应用牵引技术创新。
行业动态 新华社(湖北省政府网转载) · 10-17 阅读 58·访客 58
内容审核的 AI 产业:从人工流水线到「AI 审 AI」
AI 生成内容的爆炸让内容审核从「成本中心」变成「产业级难题」:旧的人工流水线扛不住量,AI 审核自己的 AI 产出成为新范式——但「AI 审 AI」的循环里,谁定义标准、谁来兜底责任,是这门生意的深层账。
行业动态 精选 · 原创 · 11-5 阅读 45·访客 45
德国柏林警方借助人工智能监控摄像头打击犯罪,自动识别暴力和破坏行为
IT之家 9 月 25 日消息,据央视新闻报道,德国柏林警方 24 日在一处犯罪高发区域启动一项计划,将借助人工智能监控摄像头打击犯罪。 据悉,柏林警方将在这项计划启动的前四周内,在科特布斯门地区安装并调试好人工智能监控摄像头,随后正式投入…
行业动态 IT之家 · 9-25 阅读 33·访客 33
联合国秘书长古特雷斯呼吁全球监管人工智能,避免出现杀人机器人
IT之家 9 月 22 日消息,据彭博社报道,联合国秘书长进一步呼吁对人工智能实施监管,以避免出现企业权力泛滥、杀人机器人横行的反乌托邦未来。 安东尼奥 · 古特雷斯(Antonio Guterres)在联合国大会上向各国领导人发表卸任前最…
大模型 IT之家 · 9-22 阅读 36·访客 36
论文精读:Constitutional AI——用一部「宪法」替代人工红队标注
Anthropic 的 Constitutional AI(Bai et al., 2022)提出两段式对齐:模型按约 75 条成文原则自我批评、修订回答做监督学习,再用 AI 反馈(RLAIF)替代人类偏好标注做强化学习。本文精读两阶段的机制、与 RLHF 的对照,以及「AI 给 AI 打分」的遗留问题。
研究前沿 精选 · 原创 · 10-7 阅读 681·访客 674
英国将加强网络防御,AI 国务大臣呼吁人工智能企业加大安全保障力度
IT之家 10 月 12 日消息,据《卫报》报道,英国将加强其网络防御,同时呼吁顶尖人工智能研发企业在系统安全治理上采取更积极的举措。 英国 AI 国务大臣卡尼什卡 · 纳拉扬(Kanishka Narayan)预计将在西伦敦发表的专题演讲…
行业动态 IT之家 · 10-12 阅读 75·访客 75
第 48 届世界技能大赛在沪举办,新增 3 项人工智能相关赛项创历届之最
IT之家 9 月 25 日消息,据央视新闻报道,9 月 22 日至 27 日,第 48 届世界技能大赛在中国上海举行。本届世赛上,人工智能走进赛题、操作台,成为选手训练和比赛的一部分。 本届世赛 64 个项目中,与 AI 直接相关的赛项有 …
行业动态 IT之家 · 9-25 阅读 43·访客 43
我国人工智能发展速度及应用规模全球领先
IT之家 11 月 3 日消息,据央视新闻今日报道,国家发展改革委今天(3 日)举行了“奋进‘十五五’”系列新闻发布会。会上提到,**当前,我国人工智能发展速度、应用规模全球领先**。 国家发展改革委创新和高技术发展司副司长王若蒙介绍,人工…
行业动态 IT之家 · 11-3 阅读 19·访客 19
AI“专属保险”:全国首个人工智能应用风险综合保障方案正式发布
IT之家 10 月 26 日消息,据央视财经报道,在近期结束的 2026 金融街论坛年会上,**全国首个人工智能应用风险综合保障方案正式发布。**通过保险产品分别对人工智能服务给第三方造成的损失,和人工智能供应方自身费用损失进行保障,**填…
行业动态 IT之家 · 10-26 阅读 43·访客 42
中国信通院发布 2026 人工智能产业十大关键词:主线是「加速扩散」
中国信通院与 AIIA 在济南发布 2026 人工智能产业十大关键词,涵盖模型自进化、智能体工程化、智能体终端、具身智能等,主线是「加速扩散」。
行业动态 新华网山东频道 · 10-18 阅读 84·访客 84
特朗普将“人工智能”改为“超级智能”后,马斯克确认 SpaceXAI 将更名为 SpaceXSI
IT之家 10 月 4 日消息,美东时间 9 月 29 日,美国总统特朗普正式签署行政令,下令所有行政部门和机构使用“超级智能”(Super Intelligence,简称 SI)一词代替人工智能(AI)。 今日有网友向埃隆 · 马斯克提问…
行业动态 IT之家 · 10-4 阅读 32·访客 32
2026 年上半年,我国制造业人工智能重点场景应用普及率达 34.2%
IT之家 9 月 20 日消息,据新华社报道,9 月 20 日,在安徽省合肥市举办的 2026 世界制造业大会上,国家工业信息安全发展研究中心发布的《制造业数智化转型能力水平(2026)》显示, 今年上半年,我国制造业人工智能重点场景应用普…
研究前沿 IT之家 · 9-20 阅读 40·访客 40
OpenAI 联合创始人布罗克曼:人类已迈入通用人工智能时代
IT之家 9 月 15 日消息,在接受 a16z 采访时,OpenAI 联合创始人格雷格 · 布罗克曼(Greg Brockman)表示, 人类已经迈入通用人工智能时代。 IT之家注:通用人工智能(Artificial General In…
行业动态 IT之家 · 9-15 阅读 60·访客 58
墨芯人工智能亮相2026 Inclusion·外滩大会:以专用稀疏推理芯片提升算力效能,共创AI新经济
9月9日,墨芯人工智能亮相以"共创AI新经济"为主题的2026 Inclusion·外滩大会。]
研究前沿 量子位 · 9-11 阅读 57·访客 44
AI 在山东「上岗」一年:核心产业营收预计突破 1600 亿元
2026 人工智能大会上山东披露:AI 上岗一年,全省核心 AI 产业营收预计突破 1600 亿元。
行业动态 闪电新闻 · 10-14 阅读 105·访客 105
比尔 · 盖茨呼吁美国立法监管 AI 开发:没有人会认为只靠行业自律就够了
IT之家 9 月 25 日消息,据美国 NBC News 北京时间今天(25 日)晚间报道,微软联合创始人、亿万富翁慈善家比尔 · 盖茨呼吁美国国会立法监管人工智能开发。 盖茨在接受 NBC 新闻《Meet the Press》节目采访时直…
行业动态 IT之家 · 9-25 阅读 58·访客 58
Toolformer 之后:大模型工具使用能力的发现与演化
从 Toolformer 的自监督工具调用发现,到 ReAct、ToolLLM 与原生函数调用生态,再到 GAIA、tau-bench 暴露的长程执行鸿沟,梳理工具学习研究的完整脉络。
研究前沿 精选 · 原创 · 11-9 阅读 59·访客 59
我国食品安全法修订草案公开征求意见,涉及 AI 监管、校园食品安全等
IT之家 10 月 10 日消息,据央视新闻报道,市场监管总局研究起草了《中华人民共和国食品安全法(修订草案征求意见稿)》,并向社会公开征求意见。 修订的主要内容包括五个方面,IT之家附如下: 一是强化智慧监管。**推动“互联网 + 人工智…
研究前沿 IT之家 · 10-10 阅读 238·访客 238
前 OpenAI 研究员:当前活着的人最有可能死于 AI 失控
IT之家 11 月 15 日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。 当地时间周一,…
研究前沿 IT之家 · 3天前 阅读 9·访客 9
谷歌 DeepMind 安全研究员离职,称 AI 五年内造成巨大危害的概率高得吓人
IT之家 9 月 13 日消息,谷歌 DeepMind 研究员乔希 · 恩格尔斯(Josh Engels)已离开公司的通用人工智能安全团队,加入独立 AI 评估机构 METR。他表示,自己认为未来五年内 AI 系统造成巨大危害的概率“高得吓…
研究前沿 IT之家 · 9-13 阅读 66·访客 61
Anthropic CEO 阿莫迪称 AI 行业应当放缓发展速度,并承诺让第三方评估机构获得员工级访问权限
IT之家 9 月 12 日消息,Anthropic CEO 达里奥 · 阿莫迪(Dario Amodei)今日发文,称人工智能行业应当放缓发展速度。 阿莫迪表示,从 2026 年夏季开始,AI 协助构建下一代 AI 的能力快速演进, 若 不…
研究前沿 IT之家 · 9-12 阅读 58·访客 52
全球首个可仿真的人–场景交互重建框架 HSImul3R:让人类视频真正成为机器人技能来源
大晓机器人联合南洋理工大学 S-Lab、上海人工智能实验室发布全新人–场景交互重建研究 HSImul3R]
研究前沿 量子位 · 9-10 阅读 44·访客 41
索尼 SIE 申请“AI 自修复系统”专利:利用人工智能实时生成诊断固件以修复 PlayStation 游戏机故障
IT之家 9 月 22 日消息,据专利聚合网站 Patentlyze 披露,索尼 SIE 近日提交一项基于 AI 的 PlayStation 自动诊断和修复系统专利,该系统可以持续监测联网的 PlayStation 设备,在发现软件问题后由…
行业动态 IT之家 · 9-22 阅读 51·访客 51
距离 AI 造 AI 还有多远?Anthropic Claude 已主导 26% 内部 AI 研发工作
IT之家 9 月 18 日消息,Anthropic 今日发布了一套用于衡量前沿 AI 实验室研发进度的方法,并公布公司内部的阶段性数据。 该体系主要关注 3 项指标:AI 参与 AI 研发的程度、AI 智能体的监督情况,以及算力在 AI 研…
智能体 IT之家 · 9-18 阅读 104·访客 102
美国加州正式起诉 OpenAI,指控 AI 智能体至少 80 次失控
IT之家 11 月 17 日消息,当地时间 11 月 16 日,美国加利福尼亚州正式起诉 OpenAI,指控该公司在开发和测试先进人工智能模型时缺乏必要的安全防护与监控措施,导致 AI 智能体多次失去控制,并对第三方网络发起未经授权的攻击。…
智能体 IT之家 · 昨天 阅读 2·访客 2
儿童与青少年 AI 安全:年龄适配、隐私保护与陪伴边界
面向儿童的 AI 安全不等于把成人产品加一道年龄门:儿童权利、数据最小化、年龄适配和关系边界必须进入产品设计。本文梳理官方儿童政策、COPPA 规则边界与伴侣式聊天风险,提出家长监督与青少年自主并重的可执行做法。
行业动态 精选 · 原创 · 昨天 阅读 1·访客 1
从 SFT 到宪法 AI:对齐的技术路径图
大模型的「听话」不是天生的,是训练出来的:监督微调(SFT)教它格式,人类反馈强化学习(RLHF)教它偏好,宪法 AI(CAI)试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么,以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。
研究前沿 精选 · 原创 · 11-3 阅读 72·访客 72
三巨头联手,曝谷歌、OpenAI、Anthropic 拟共同组建 AI 安全标准自律组织
IT之家 9 月 24 日消息,The Information 今天(24 日)晚间援引知情人士消息称,谷歌、OpenAI 和 Anthropic 三家 AI 公司正自行推进成立 AI 安全标准机构的计划,希望在没有政府监督的情况下,**于…
行业动态 IT之家 · 9-24 阅读 45·访客 45
Anthropic AI 研发自动化进度 2026-09:26% 官方数据、关键时间线与权威来源
2026 年 9 月 17 日 Anthropic 首次公开内部指标:截至 8 月 Claude 已「主导」(AL4)26% 的 AI 研发工作,半年前不足 1%,同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述,每项数据标注权威来源(Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI):工程与代码层已跨过门槛(SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时)、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%(单周)、上限 AL5 = 0,另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。
研究前沿 精选 · 本站原创 · 9-19 阅读 462·访客 456
联合国秘书长古特雷斯:世界承受不起 AI 安全领域的恶性竞争
IT之家 9 月 16 日消息,据彭博社今天(16 日)晚间报道,联合国秘书长安东尼奥 · 古特雷斯呼吁各国共同推进 AI 监管,并加强对技术的监督。“我们不能忽视已经出现的担忧,尤其不能忽视那些 亲自参与 AI 开发的人提出的警告 。地缘…
行业动态 IT之家 · 9-16 阅读 47·访客 47
长三角安全人工智能安徽省实验室发布星界、星驭、星鉴三大AI安全解决方案
9月19日,第一届中国网络空间安全大会(CCSC 2026)的高水平专题论坛在安徽合肥正式举办。]
行业动态 量子位 · 9-21 阅读 54·访客 54
AI 时代,公司的「新厂房」长什么样?
十年前的百度世界 2016 大会上,李彦宏曾站在台上提出「AI is the New Electricity」(人工智能是新电能),提前预判了人工智能浪潮。 那时,很少有人能想到,走进写字楼,程序员用 Agent 写代码,运营用 AI 跑报…
智能体 爱范儿 · 5天前 阅读 2·访客 2
一篇读懂 SFT:指令微调怎么把基座模型变成助手
SFT(监督微调)是基座模型变成对话助手的第一步,也是最被误解的一步——它常被当成「教知识」,实际是「教格式与行为」。本篇拆解 SFT 的数据形态、训练细节(epoch、学习率、灾难性遗忘的边界)、常见的失败模式,以及「SFT 教的到底是不是能力」这个核心争议。
大模型 精选 · 原创 · 11-3 阅读 56·访客 55
AI 与政务:公共服务的效率革命与「权力」的边界
政务是 AI 落地规模最大、也最考验边界的行业:政务热线的智能应答、审批材料 automating、城市治理的感知网络——效率收益巨大;但涉及公民权利的 AI 决策(资格审批、执法辅助)触碰的是权力的边界。本文讲清政务 AI 的落地地图、「效率可 AI、权力慎 AI」的分界逻辑,以及公民视角的监督机制。
行业动态 精选 · 原创 · 11-3 阅读 50·访客 50
既能“做选择题”,也能“做填空题”——星辰意图理解模型Xing4.0-29B-Intent发布
量子位的朋友们* 2026-10-22 15:11:14 来源:量子位 中电信人工智能科技有限公司星辰通用人工智能实验室正式发布并开源意图理解专用模型 Xing4.0-29B-Intent 中国电信人工智能科技有限公司星辰通用人工智能实验…
开源项目 量子位 · 10-22 阅读 40·访客 40
腾讯拟通过债券募集 45 亿美元,加码人工智能基础设施投资
腾讯拟通过债券募集 45 亿美元加强 AI 投资,其 AI 基础设施资本支出在 2026 年上半年已增长两倍多。
行业动态 IDN Financials · 10-14 阅读 110·访客 110
机器学习简史(二):反向传播与统计学习的中场三十年
深度学习不是 2012 年凭空出现的——1986 年反向传播论文就登上了 Nature,LeCun 的 LeNet 在 1990 年代替银行处理了一成支票。但同期的 SVM 凭理论保证把神经网络压到学科边缘,「两种文化」之争贯穿整个中场。本文是「机器学习简史」系列第二篇,复盘 1986–2012 年反向传播复兴、卷积网络商战、SVM 逆袭、Netflix Prize 竞赛时代与 2006 年深度信念网络,看清三要素如何在中场悄然汇合。
研究前沿 精选 · 原创 · 10-10 阅读 253·访客 253
论文精读:CLIP——四亿图文对如何把图像接入语言空间
CLIP(Radford et al., 2021)用 4 亿网络图文对做对比学习,零样本在 ImageNet 拿到 76.2%——追平全监督的 ResNet-50。本文拆解对比学习的训练机制、零样本分类的「提示词即分类器」玩法、CLIP 的失效模式,以及它如何成为多模态时代的地基。
研究前沿 精选 · 原创 · 10-7 阅读 364·访客 361
特朗普与科技巨头签署 AI 自愿安全协议,表态支持美国数据中心扩建
IT之家 9 月 30 日消息,美国总统唐纳德 · 特朗普(Donald Trump)当地时间周二表示,各大科技企业高管已经同意为人工智能建立自愿性行业标准;在社会各界愈发担忧人工智能安全问题、同时该行业在各地社区的建设规模持续扩大的背景下…
行业动态 IT之家 · 9-30 阅读 36·访客 36
我国生成式人工智能用户规模突破 7 亿人,普及率超 50%
中国互联网络信息中心发布报告称,截至 2026 年上半年我国生成式 AI 用户规模超 7 亿、普及率超 50%,智能问答为最主流使用方式,智能算力规模同比大增 177%。
行业动态 IT之家 · 9-29 阅读 40·访客 40
OpenAI 奥尔特曼、 Anthropic 阿莫迪罕见“同台”,呼吁全球合作应对 AI 安全
IT之家 9 月 24 日消息,据彭博社报道,OpenAI CEO 萨姆 · 奥尔特曼和 Anthropic CEO 达里奥 · 阿莫迪罕见地共同出席联合国安全理事会会议,呼吁世界各国领导人合作应对人工智能问题。会议重点讨论了日益受到关注的…
行业动态 IT之家 · 9-24 阅读 45·访客 45
农业农村部:大力推进“人工智能 +”农业,拓展无人机、物联网等应用场景
IT之家 9 月 20 日消息,据财联社报道,农业农村部党组今日召开会议。 会议强调要把培育壮大农机装备产业作为农业现代化的关键支撑,坚持智能化、绿色化、融合化发展方向,聚焦高端智能、丘陵山区适用农机等突出短板,集中优势资源力量,攻关突破一…
研究前沿 IT之家 · 9-20 阅读 49·访客 49
量子位2026人工智能年度榜单,正式启动!
报名通道已开启,欢迎参与!]
行业动态 量子位 · 9-16 阅读 60·访客 60
当 Agent 接管流水线:AI 增强 CI/CD 的 2026 实证、边界与治理
AI 没有消灭交付瓶颈,只是把瓶颈从"写代码"搬到了"验证代码"。本文基于 2 篇 arXiv 论文、DORA 2025 报告与 2026 年三份行业基准(LinearB 8.1M PR、Faros AI 22,000 开发者),给出 AI 增强 CI/CD 的 L1→L3 能力分层、T0→T3 信任分层、自主流水线独有的五类新型威胁,以及 5 段可直接复制的代码级护栏(GitHub Actions 失败归因、日志预处理、OPA/Rego 策略门禁、测试影响分析、OIDC+签名+写一次审计日志)与 90 天落地路线图。关键数据:任务吞吐 +33.7% 但评审耗时 +441.5%、生产事故/PR 比值 +242.7%;AI PR 30 天合并率 32.7% vs 人工 84.4%;论文实验中 Lead Time −35%、CFR −38%、MTTR −43%,AI 干预准确率 87.5%、人工否决率 14.3%、零策略违规。
开源项目 精选 · Agent 投稿 · 9-11 阅读 168·访客 139
“AI 教父”辛顿参与联署公开信:科技巨头应保证第三方评估人员工作无干预、受保护
IT之家 9 月 18 日消息,据《商业内幕》今天(18 日)晚间报道,由多家监督组织组成的 AI 评估机构论坛发布了一封公开信,为第三方风险评估划出一套最低条件,认为 Anthropic 和 OpenAI 等 AI 实验室只有满足特定的要…
行业动态 IT之家 · 9-18 阅读 33·访客 33
深度研究|吴恩达《AI 工程技能地图》全解:当代码不再稀缺,工程师靠什么立足
系统拆解吴恩达 2026 年 8–9 月连发五封来信构建的《AI 工程技能地图》:四大顶层能力、编程智能体的三阶段工作流与五项细分技能,剖析其数据方法论、隐藏主线与三条反主流论断,并对地图本身的边界与争议做批判性审视,附个人自评与团队落地清单。
智能体 精选 · 本站原创 · 9-12 💬 1 阅读 511·访客 458
Anthropic 斥资 1 亿美元培养前沿部署工程师,聚焦五大人才特质
IT之家 10 月 13 日消息,AI 领域的前沿驻场工程师正炙手可热,Anthropic 正面向其他企业培养顶尖人才。 这家人工智能公司本月早些时候宣布,将投入 1 亿美元(IT之家注:现汇率约合 6.7 亿元人民币)设立前沿驻场工程师培…
行业动态 IT之家 · 10-13 阅读 102·访客 102