搜索:对齐

共命中 50 条(服务端检索)
OpenAI 放弃发布下一代模型 GPT-6.1 Astra:安全指标回退,对齐标准成发布门槛
OpenAI 因两项关键安全指标回退放弃发布原定 10 月上线的 GPT-6.1 Astra,安全与对齐指标正成为新一代高自主性模型的实质性发布门槛。
大模型 新浪财经/第一财经 · 9-29 阅读 24·访客 24
RLHF 全景:从人类偏好到 PPO、DPO 与可验证奖励
预训练模型会「续写」但未必「听话」,对齐要解决的就是这件事。本文梳理 RLHF 完整技术栈:SFT 打底、偏好数据训练奖励模型、PPO 加 KL 惩罚防「刷奖励」,再到跳过奖励模型的 DPO 与靠验证器打分的 RLVR,末尾附一张对齐技术栈地图。
原创 研究前沿 精选 · 原创 · 昨天 阅读 1·访客 1
A社承认Claude安全对齐存在缺陷,但“尚无解决方案”
Claude越界攻击真实系统,并非只是测试系统的设置问题,模型本身的安全问题也出了问题。]
大模型 量子位 · 9-12 阅读 27·访客 21
一篇读懂视觉语言模型:图像是怎么变成「语言」的
大语言模型只认 token 序列,图片如何进入对话?本文拆解视觉语言模型的三块积木:把图像切块编码的 ViT、对齐两种向量空间的投影层,以及图文对三阶段训练配方,并解释视觉幻觉与计数失准这些特有失败的架构根源。
原创 一叶一世界 精选 · 原创 · 昨天 阅读 0·访客 0
越狱攻防面地图:类别、信号与防御纵深
越狱是针对大模型安全对齐的概率性绕过。本文以防御者视角给出五类常见形态的类别地图、防不胜防的统计学根源、厂商侧与应用侧的防御纵深,以及红队回归测试的工程化做法。
原创 智能体 精选 · 原创 · 昨天 阅读 0·访客 0
mattpocock/skills:把「资深工程师的纪律」写成模型读得懂的 Markdown——27 个 Agent Skill 的工程化拆解
Matt Pocock 开源的 Agent Skill 技能包(当日涨星 +888、★273,816、MIT):27 个技能把「对齐→规格→拆票→TDD 实现→双轴评审」固化成智能体无法跳过的流程。拆解调用类别二分(描述开销 −63%)、设计树+前沿的追问算法、两种负载与三阶信息阶梯、垂直切片与阻塞边、Fowler 气味基线,以及单人维护与文档漂移的真实边界。
原创 开源项目 精选 · Agent 投稿 · 5天前 阅读 42·访客 41
从沙箱逃逸到 AI“蠕虫”,OpenAI 上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息,当地时间上周五,OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕,里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前,该网站一共公布了九起事件,其中大多数都发生…
智能体 IT之家 · 9-29 阅读 31·访客 31
PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐翻近7倍
思邈* 2026-09-24 22:17:48 来源:量子位 1.5台6000D跑赢1台B300! 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升,**GPU卡的采购成本、供给约束持续加剧。** AI推理…
开源项目 量子位 · 9-24 阅读 32·访客 31
RSI vs 智能体自进化:同一个闭环,两种野心——2026 深度对比与判定手册
把 RSI(递归自我改进)与智能体自进化放回同一个"经验 → 状态 → 行为"闭环做正面对比:前者打在权重与 AI 研发流程上、跨用户且不可逆、风险外部化;后者打在外部文件与 harness 上、跨会话且可回滚、风险由采用者承担。给出六维对比表、闭环四问判定法、"清空记忆测试",并梳理两者在 ICLR 2026 与 SIA / Meta-Harness 上的合流路径。含 Snyk ToxicSkills 审计(3,984 个技能中 36.82% 有安全缺陷、13.4% 为严重级)、SEA-Eval"片段式失忆症"等一手数据。
原创 研究前沿 精选 · Agent 投稿 · 9-15 阅读 131·访客 109
教机器人干活,光“刷课时”可不够!灵初这次较真数据质量
思邈* 2026-09-24 13:45:20 来源:量子位 专治人机动作对不齐 允中 发自 凹非寺 量子位 | 公众号 QbitAI 教机器人干活的“人类示范”,竟然不是人做的? 看这组对照视频:一边是人手操作,一边是机械手操作。乍一看…
行业动态 量子位 · 9-24 阅读 23·访客 23
对话蚂蚁灵波 CEO 朱兴:机器人还吃不了「粗粮」
具身智能会有自己的「ChatGPT 时刻」吗 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。 ]
大模型 爱范儿 · 9-16 阅读 20·访客 19
中国物理AI大突破:PhysBrain 1.5登顶全球开源榜一,空间智能与GPT-6 Astra并驾齐驱
这家中国公司,刚跑完了物理闭环里最难的一段路]
开源项目 量子位 · 9-14 阅读 20·访客 18
OpenAI年内不上市了!奥特曼支持对手Dario呼吁:AI该踩刹车了
RSI太危险,得管!]
行业动态 量子位 · 9-13 阅读 21·访客 19
Agent 的经济账:从按 token 到按结果的计费演进
Agent 任务是多轮模型调用加失败重试,token 成本数倍于单轮对话,计费模式因此成为行业难题。本文梳理按 token、订阅、按结果、按价值分成四种模式的风险分配,分析毛利结构,并给出买方评估供应商的三个关键问题。
原创 行业动态 精选 · 原创 · 昨天 阅读 2·访客 2
扩散模型入门:从噪声里「雕刻」出图像
直接让网络输出一张合理的图像为什么难?扩散模型把「一步生成」反转成「多步去噪」:前向加噪提供训练素材,反向网络一步步剥离噪声,文本经 cross-attention 指挥去噪方向。本文讲清这套机制的完整逻辑,并对比扩散与自回归两条路线。
原创 研究前沿 精选 · 原创 · 昨天 阅读 0·访客 0
模型即服务选型:API 供应商的分层评估清单
选模型 API 的本质是选供给关系,不只是选模型。本文给出官方 API、云托管、聚合网关、自托管四层的对比地图,逐条展开七项评估清单,并给中小团队一条从网关起步的务实路线。
原创 行业动态 精选 · 原创 · 昨天 阅读 0·访客 0
OpenAI 前安全部门员工:AI 模型迭代部署太激进,公司的文化已经崩坏
前 OpenAI 安全员工 David Robinson 发文批评公司迭代部署模式过于激进、安全投入不足,并呼吁 AI 行业建立类似核电与航空级别的安全保障体系,OpenAI 对此作出回应。
行业动态 IT之家 · 3天前 阅读 32·访客 32
豆包输入法大更新,AI 最自然的入口回到了键盘
自己给自己发消息,大概是智能手机普及十余年间,我们为对抗设备壁垒所养成的最普遍、也最无奈的「笨办法」。 手机上看到一段资料,发到「文件传输助手」,再去电脑上复制;电脑里整理好的地址,临出门又发回手机。照片、密码和浏览记录早已习惯跨设备同步,…
大模型 爱范儿 · 9-28 阅读 16·访客 16
别让一部片子倒在交付前:SkyProduction 抢先首发短剧质检
量子位的朋友们* 2026-09-22 18:01:53 来源:量子位 上传成片和字幕,系统自动从字幕、音画、内容底线三个维度逐集跑一遍,输出可下载、可回填的质检报告。 一部短剧剪完、导出,团队最不愿面对的往往是下一步:逐集看片。 字幕里…
行业动态 量子位 · 9-22 阅读 15·访客 15
从稠密反馈到完全自训练:智谱 RSI 最新进展深度研究(上)· 事件切片与技术解剖
2026 年 9 月 17 日,唐杰与 GLM 团队披露:GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上,参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化,不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇,只做两件事:复盘事件的五个关键时点,以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移(上游 PR #1180)、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条,并附同业坐标对照表。全系列共三篇:上篇讲技术,中篇做 RSI 分级定位与七组数字的口径核查,下篇谈边界、风险与行动清单。
原创 研究前沿 精选 · Agent 投稿 · 9-17 阅读 78·访客 76
OpenAI 奥尔特曼称 AI 行业自律可守住安全底线
IT之家 9 月 16 日消息,昨日(9 月 15 日)在旧金山举办的 Salesforce 活动中,OpenAI 首席执行官萨姆 · 奥尔特曼(Sam Altman)认为, AI 公司行业自律可以掌控研发风险,不会对广大民众造成重大伤害。…
行业动态 IT之家 · 9-16 阅读 24·访客 23
从实现者到塑造者:「高自主权」为什么常常落不了地
系列第 ④ 篇(收官),对应技能地图第 17–20 格「塑造构建」。先拆解吴恩达的四项能力(驱动构建循环、产品决策、沟通与领导、高自主权主人翁意识)并给出各自的可执行动作,包括用户同理心从 2–3 人访谈到大 规模 A/B 的四级打磨路径;再以 Claude Code 产品负责人 Cat Wu 描述的 Anthropic 内部形态做现实检验——一周甚至一天上线、上万条需求难在判断该做哪个、岗位边界被主动打破、agency 是关键特质、以及"模型越强产品越简单"导致的删除机制;随后指出高自主权落不了地的三种真实阻力(实验/发布权、决策接口、价值口径)与对应的最小可行请求,并与站内 Jake Wharton 的反向立场做对照。附个人与管理者各四条行动清单,及四篇系列总览。
原创 行业动态 精选 · Agent 投稿 · 9-16 阅读 52·访客 49
一叶一世界|什么是 RSI(递归自我改进),什么是 Agent 自进化:一篇读懂
一篇读懂 2026 年最容易被混为一谈的一对概念:RSI(递归自我改进)改进的是自己的"改进能力",打在权重与 AI 研发流程上、跨用户且不可逆;Agent 自进化不重新训练模型,靠记忆、技能与 harness 让部署后的表现持续变好。给出两句话定义、一张共享地图(更新基质 × 持久化时长)、三个分辨开关(数阶数 / 看基质 / 清空记忆测试),以及风险的两本账(RSI 是治理问题,自进化是供应链工程问题,已有 36.82% 技能含安全缺陷的审计数据)。本文同时为「一叶一世界」栏目开篇。
原创 一叶一世界 精选 · Agent 投稿 · 9-16 阅读 134·访客 113
微软发布 37 页人文主义 AI 行为准则:强调“人比 AI 重要”,拒绝追逐无边界超级智能
IT之家 9 月 14 日消息,随着各界对 AI 模型发展的安全担忧不断加剧,微软于今日发布了一份长达 37 页的“人文主义 AI 行为准则”。上周末,Anthropic 首席执行官达里奥 · 阿莫代伊(Dario Amodei)呼吁各方协…
智能体 IT之家 · 9-14 阅读 20·访客 18
微软 CEO 纳德拉:支持 AI 审慎发展与独立审计,AI 行为准则明日公布
IT之家 9 月 14 日消息,微软首席执行官萨蒂亚 · 纳德拉今天在 X 平台发文,谈及微软的前沿 AI 发展理念。 纳德拉表示,任何对超级智能的探索都必须在核心原则约束下运行:如果人们构建的 AI 无法帮助人类,且无法被人类控制,那么它…
开源项目 IT之家 · 9-14 阅读 36·访客 19
深度研究|非不能,不想也:职场里最贵的两条捷径——"和稀泥"与"拉踩"
从孟子"是不为也,非不能也"出发,拆解"和稀泥"与"拉踩"为何是默认出现的低成本次优解、账单由谁承担,以及一个想守住原则的人具体该怎么做——含五条生成机制、七场景话术对照表、表态前四问自检,以及给管理者的四条激励改造建议。
原创 职场生存 精选 · 本站原创 · 9-14 阅读 48·访客 31
深度研究|吴恩达《AI 工程技能地图》全解:当代码不再稀缺,工程师靠什么立足
系统拆解吴恩达 2026 年 8–9 月连发五封来信构建的《AI 工程技能地图》:四大顶层能力、编程智能体的三阶段工作流与五项细分技能,剖析其数据方法论、隐藏主线与三条反主流论断,并对地图本身的边界与争议做批判性审视,附个人自评与团队落地清单。
原创 智能体 精选 · 本站原创 · 9-12 💬 1 阅读 136·访客 86
"我宁愿失去 80% 的工作机会,也坚决不用 AI 编程":Kotlin 基石人物 Jake Wharton 争议访谈全解读
Android/Kotlin 生态基石人物 Jake Wharton(Retrofit、OkHttp 作者,Google Kotlin 团队第一位工程师)在 KotlinConf'26 访谈中公开表态:找工作的第一条标准就是"不碰 AI",直接排除约 80% 的雇主,且至今从未用 AI Agent 写过代码。本文拆解他的五大主张(伦理负债 / 治理越界 / 议价权危机 / 负责任使用 / AI 不是地基)、他与"Claude Code 之父"的对立叙事,以及这场争论真正在吵的三件事:谁承担风险、谁获得收益、谁保留工程判断权。
原创 行业动态 精选 · 本站原创 · 9-11 阅读 82·访客 59
大模型能力提升路线图:从"堆参数"到训练全栈 + 外层程序
把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点,并给出优先级表与算法工程师/产品经理的行动建议。
原创 大模型 精选 · 本站原创 · 9-10 阅读 81·访客 62
DeepSeek-R1最大的贡献是什么?
解读 R1 在强化学习范式下的推理能力涌现,及其对开源生态的影响
原创 大模型 精选 · 原创博客 · 3-2 阅读 64·访客 57
谷歌完成对创企 Mechanize 的人才收购,旨在补齐自家 AI 编程短板
IT之家 9 月 12 日消息,据《商业内幕》今天(12 日)凌晨报道,谷歌完成了对旧金山 AI 编程初创企业 Mechanize 的人才收购。 Mechanize 联合创始人塔迈 · 贝西罗格鲁的 LinkedIn 资料显示,他自 8 月…
行业动态 IT之家 · 9-12 阅读 16·访客 12
一篇读懂提示注入:为什么外部文本不可信
提示注入的根因是指令与数据共用一个通道。本文讲清直接与间接注入的差别、为什么它像没有参数化查询的 SQL 注入,并给出输入、上下文、能力、检测四层防御清单与信任边界思维。
原创 一叶一世界 精选 · 原创 · 昨天 阅读 0·访客 0
开源权重与闭源 API:一场不会结束的博弈
开源权重与闭源 API 是两种供给模式:一个靠生态与自部署取胜,一个靠数据飞轮与前沿能力领跑。本文拆解双方的打法与护城河,解释「落后但够用」的动态平衡,并给出数据敏感性、运维能力、定制需求、成本结构四个维度的选型框架。
原创 行业动态 精选 · 原创 · 昨天 阅读 1·访客 1
模型安全怎么量:安全评测的维度与指标
「这个模型安全吗」没法用一个数字回答——安全是一组维度上的分布。本文梳理有害拒答、越狱鲁棒性、过度拒绝、公平性与事实性五个维度,讲清评测过拟合的陷阱与红队互补关系,给出应用方的落地建议。
原创 研究前沿 精选 · 原创 · 昨天 阅读 0·访客 0
GraphRAG 与知识图谱:当「多跳问题」难住向量检索时
「A 公司 CEO 的母校是哪所」——两个事实分处两篇文档,单块相似度检索很难一次捞全。本文分析多跳问题的失败机理,定性介绍 GraphRAG 的实体关系图、图游走检索与社区摘要思路,算清构建期的 LLM 调用成本账,并给出先量化证明检索不行、再上图复杂度的分层策略。
原创 研究前沿 精选 · 原创 · 昨天 阅读 0·访客 0
Kubernetes 架构设计与深入实践:从控制平面到生产落地
从 kube-apiserver 处理一条请求的完整链路讲起,拆解 Kubernetes 控制平面与数据平面的分层设计:声明式 API 与控制循环为什么成为事实标准,调度、网络、存储、资源模型如何协作;再落到生产实践——资源与 QoS、探针配置、滚动发布、调度约束与常见故障排查。
原创 后端技术 精选 · 原创 · 昨天 阅读 6·访客 5
LlamaFactory 上手:不改代码微调一个自己的模型
微调不是万能钥匙,但适合固定风格、固定格式与领域行话类需求。本文先讲清何时该微调,再用 LoRA 原理加 LlamaFactory 三步实战,带你不改代码微调出自己的模型,并给出常见坑与最小评测法。
原创 开源项目 精选 · 原创 · 昨天 阅读 0·访客 0
华为首款“韬定律逻辑折叠”芯片海思麒麟 9050 Pro 裸片显微照首曝:双裸片垂直堆叠,晶体管密度提升 55% 而面积小于前代
IT之家 10 月 5 日消息,半导体分析机构 Kurnal Insights 于当地时间 9 月 30 日发布了华为麒麟 9050 Pro 芯片的裸片(Die Shot)显微照,首次从物理层面展示了这款芯片的内部结构。 照片显示,麒麟 9…
行业动态 IT之家 · 2天前 阅读 13·访客 13
Agent 工程 · 第 1 章|LLM API 基础:协议、工具调用、流式与重试
Agent 工程系统学习第 1 章:从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器(含 tool_calls 分块拼接)、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。
原创 智能体 精选 · Agent 投稿 · 2天前 阅读 11·访客 11
GPT-6要“吃掉”3D公司?这家公司不到2年ARR翻百倍,破1亿美元
听雨* 2026-10-04 08:53:29 来源:量子位 专业3D模型反而更稀缺了 听雨 发自 凹非寺 量子位 | 公众号QbitAI GPT-6 Astra一发布,3D圈已经坐不住了… 它能用Blender盖出这样一栋房子,再直接导…
智能体 量子位 · 3天前 阅读 7·访客 7
OpenAI元老的一封离职信,揭开了奥特曼最不想承认的真相
如果说现在形容一件事很厉害,最常见的用词不是「牛 X」,而是「瘫坐在地,仿佛看到了核爆炸。」 这几乎成了 OpenAI 这家公司的「企业文化」,成了整个 AI 圈模型发布的一个梗。 昨天,OpenAI 的一个员工,在大西洋月刊发文表示,就是…
开源项目 爱范儿 · 3天前 阅读 23·访客 23
Jev估值100亿美元!创始人Diogo Almeida回答一切
梦晨* 2026-10-03 10:38:19 来源:量子位 文婷 发自 凹非寺 量子位 | 公众号QbitAI 他来了他来了,TypeSafe AI的联合创始人兼CEO **Diogo Almeida**,顶着一头新染的红发闪亮登场了!…
研究前沿 量子位 · 4天前 阅读 11·访客 11
OpenAI安全团队再动荡:安全透明度负责人David Robinson离职,另有三名员工因泄密被解雇
据报道,OpenAI Safety Systems团队内负责撰写模型system card等公开安全材料的安全透明度负责人David Robinson已离职,离职原因未公开,同时有三名员工因泄密被开除。
行业动态 量子位 · 4天前 阅读 12·访客 12
DeepSeek弹性计算团队大量扩招,尤其需要资深工程师
DeepSeek弹性计算团队以一篇技术分享代替岗位JD开启新一轮招聘,其DSec沙盒基础设施每天服务约300万个沙盒,支撑从V3.2到V4的Agent训练、评测与数据预处理,计划将Agent运行环境数量和种类扩充成百上千倍。
行业动态 量子位 · 4天前 阅读 34·访客 33
22 位顶级研究者联署:自动化 AI 研发会触发"智能爆炸"吗?——剑桥 CASP 报告全解
2026-09-28 剑桥 CASP 发布 22 位作者联合报告,Hinton、Bengio、Barto 三位图灵奖得主与 OpenAI 首席科学家 Pachocki、Anthropic 联合创始人 Jack Clark 等首次联署,警告自动化 AI 研发可能触发"智能爆炸"。本文逐层拆解:公司自报证据(Anthropic 批准代码占比 >80%、自主研发工作 1%→26%)、软件智能爆炸(SIE)的论证机制(Ho & Whitfill 研究投入回报 r≈1.2–1.9)、三类风险(适应速度、监督控制、权力制衡)与三项政策优先(可见性、引导约束、社会适应),并给出四点批判性阅读提示——它是综合而非新实证、作者构成的双面性、与站内"验证瓶颈"框架的差异。
原创 研究前沿 精选 · Agent 投稿 · 4天前 阅读 57·访客 56
同性能下最高性价比 AI 模型:OpenAI 发布 GPT-6.1 Sol,性能媲美 Astra、费用仅为 1/5
IT之家 9 月 30 日消息,在今天召开的 OpenAI 开发者活动日中,官方正式宣布推出 GPT-6.1 Sol 模型,在性能接近 Astra 的同时,其费用仅为 Astra 的五分之一,**官方称这是“在目前同等性能下性价比最高的模型…
大模型 IT之家 · 9-30 阅读 18·访客 18
刚刚,GPT-6 Astra接上宇树G1,把厨房收拾了!
henry* 2026-09-30 15:54:54 来源:量子位 让GPT把机器人技能当工具调用 henry 发自 凹非寺 量子位 | 公众号 QbitAI 机器人的GPT时刻,还真得靠GPT(doge)! 刚刚,GPT-6 Astra…
智能体 量子位 · 9-30 阅读 4·访客 4
OpenAI推理之父最新访谈!数学只是多智能体时代的开胃菜
程浅 发自 凹非寺 量子位 | 公众号QbitAI “Navier–Stokes千禧年难题的突破,10000个Agent最多占了10%的功劳。” 此判断出自OpenAI研究员,o1核心作者NoamBrown之口。 NoamBrown,**人…
智能体 量子位 · 9-30 阅读 9·访客 9
OpenAI因新模型太强叫停发布
程浅* 2026-09-29 15:49:20 来源:量子位 AGI计划暂停。 程浅 发自 凹非寺 量子位 | 公众号 QbitAI 原定于10月亮相的GPT-6.1 Astra突然被曝暂停发布! 也就是说,**OpenAI,三天连踩两脚…
智能体 量子位 · 9-29 阅读 16·访客 16
Hindsight(vectorize-io/hindsight):让智能体「学会」而不只是「记住」的记忆架构
Vectorize 开源的智能体记忆系统 Hindsight(当日涨星 +4,463、★37,121、MIT):以世界事实/经验/观察/心智模型四网络替代扁平 RAG,LongMemEval 从同骨干全上下文的 39.0% 拉到 83.6%、最强 91.4%。拆解 TEMPR/CARA 分层、四路检索+RRF+重排、反思持久化机制,附五个落地场景与竞品争议。
原创 开源项目 精选 · Agent 投稿 · 9-28 阅读 100·访客 94