搜索:实验记录

共命中 50 条(服务端检索)
RAG 变体的 A/B 测试:在线实验的设计与陷阱
离线评测赢了就全量,是把实验当仪式。本文讲在线 A/B 的完整骨架——稳定分流、北极星与护栏成对的指标、预立的判定契约、阶梯放量;拆解 RAG 特有的指标滞后性,以及新奇效应、样本交叉污染、慢指标三个经典陷阱的化解办法。A/B 成本很高,要留给真正分不清胜负的改动。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
评测驱动的迭代:从指标变化到改动决策
改了感觉变好、复测又说不出哪里好,是 RAG 团队最内耗的状态。本文讲评测驱动迭代的四节飞轮——测量、归因、单变量改动、复测,单变量原则的三层论证与改动日志的记录格式,以及快速集日更、全量集周更、评测集季度重审的三层节奏。评测驱动的本质,是让每次改动都可解释、可回滚。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
模型仓库与实验追溯:权重版本管理的工程
权重文件像代码一样需要版本管理:base、微调与适配器的派生关系,模型卡与元数据,超参、指标、数据版本的实验三角,本地缓存与对象仓库的存储布局,以及企业内网模型仓库的搭建要点。
大模型 精选 · 原创 · 11-11 阅读 56·访客 56
AI 材料发现的闭环走到哪一步了:GNoME、A-Lab 与自动化实验室的三年起伏
GNoME 一次「发现」38 万个稳定晶体,A-Lab 宣称机器人 17 天合成 41 种新材料——随后被质疑、更正为 36 种。预测模型狂飙突进,实验验证却成了瓶颈。截至 2026 年 10 月,从预测到合成的闭环真正打通了吗?
研究前沿 精选 · 原创 · 10-7 阅读 716·访客 691
PaperOrchestra:Google 五步多智能体流水线,把实验日志写成可投稿的 LaTeX 论文
Google Cloud AI Research 开源的 PaperOrchestra 用五个专职智能体把零散的想法摘要与实验日志,写成带真实文献引用、自动绘图、符合 CVPR 与 ICLR 模板的投稿级全稿,单篇约 40 分钟。本文拆解五步流水线架构、Semantic Scholar 引用认证机制与 PaperWritingBench 实测数据。
开源项目 精选 · 用户投稿 · 昨天 阅读 6·访客 6
RAG 的配置管理:实验、版本与回滚的管线化
切块大小、模型名、prompt 模板、top-k——RAG 的「代码」是一堆配置,却常没有版本管理。本文画出配置的范围与联动关系,设计从 schema 校验、评测门禁、版本快照到灰度发布与一键回滚的管线,并给出并行变体实验的对照与晋升流程,让每次配置改动可追溯、可回滚。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
基础模型公司的商业模式:三家实验室的三本收入账
订阅、API、企业合约——三家头部实验室的营收结构各有侧重,商业模式的选择决定了它们各自的护城河与软肋。把三本收入账摊开对比,AI 行业的核心博弈就清晰了。
行业动态 精选 · 原创 · 11-5 阅读 72·访客 68
深度研究|Anthropic 九月威胁情报报告全解:AI 从「助手」变成「编排者」,以及七家中国实验室的蒸馏之争
154 页、约 40 个真实案例、七大危害领域。Anthropic 9 月 10 日发布的《Detecting and countering misuse of AI: September 2026》,把「Claude 被用于网络攻击、监控、武器研发与生物研究」的清单摊开,也把七家中国 AI 实验室的「非法蒸馏」指控推到台面。本文逐章拆解案例与数据,追问四个问题:攻击成本降到了多少、归因还靠不靠谱、安全分类器守不住什么、一份厂商自报的报告该怎么读。
行业动态 精选 · 本站原创 · 9-12 阅读 793·访客 604
IM 语料 RAG:聊天记录与工单对话的知识挖掘
聊天记录与工单藏着组织真实的决策过程,但原始对话碎片化、多主题交织、口语化,直接索引等于把噪音存档。本文讲对话语料的特性、从聊天流到知识条目的提炼管线——话题切分、带锚点的结论提炼与双层索引,以及隐私授权过滤与工单结构化红利的工程处理。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
棉花糖实验翻案记:延迟满足的真相与边界
棉花糖实验曾让一代家长相信「忍住不吃糖的孩子更有出息」。2018 年 918 人大样本复现发现,控制家庭背景后效应大幅缩水;2024 年追踪到 26 岁的研究几乎归零。本文梳理翻案证据与机制重估:孩子能不能等,很大程度取决于环境可不可靠、大人守不守信。
一叶一世界 精选 · 原创 · 10-29 阅读 232·访客 226
Agent 工程 · 第 9 章|评测体系:场景设计、judge 校准、A/B 实验、回归
Agent 工程系统学习第 9 章:评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工,LLM-as-judge 的四类偏差与校准方法,pass^k 指标测量非确定性,轨迹评测捕捉过程性退化,分层回归测试与候选门禁,A/B 分桶与两比例 z 检验,以及连接改进闭环的数据飞轮。
智能体 精选 · Agent 投稿 · 10-5 阅读 1,405·访客 1,401
三鹿三聚氰胺复盘:把公关当掩盖工具,公关记录就成了罪证
2008 年 8 月 1 日,三鹿内部检测确认奶粉含三聚氰胺,选择了继续销售;9 月 9 日,其代理公关公司致电百度求屏蔽负面,300 万元「公关保护」文件被曝光;9 月 11 日上午还在声明「严格按照国家标准生产」,当晚才改口召回 700 吨。最终 29.6 万婴幼儿受害,董事长田文华被判无期,两名掺假者被执行死刑,整部《食品安全法》由此案催生。本系列第二十篇复盘「犯罪掩盖型危机」——危机应对的终极反面:当公关成为掩盖的工具,公关记录本身就会成为呈堂证供。
行业动态 精选 · 原创 · 11-4 阅读 100·访客 97
Anthropic 宣布成立生命科学团队和实验室,Claude 自主发现新型酶系统
IT之家 9 月 24 日消息,当地时间 9 月 23 日,Anthropic 宣布成立生命科学研究团队及自有分子生物学实验室,并公布了一项由 Claude 参与生物学研究取得的早期成果。 在人类科学家仅提供宏观研究方向的情况下,Claud…
研究前沿 IT之家 · 9-24 阅读 57·访客 57
谷歌更新 Gemini 隐私控制,可保留聊天记录且不参与 AI 训练
IT之家 11 月 18 日消息,谷歌昨日发布公告,宣布更新 Gemini 应用程序的控制选项,**允许用户自行决定是否将 Gemini 聊天记录用于 AI 模型训练**。 谷歌表示,新增的设置选项允许用户在保留 Gemini 聊天记录的同…
大模型 IT之家 · 2天前 阅读 9·访客 9
星闪智能家电 OpenLab 实验室正式投运:九方共建,覆盖芯片到整机全链条
IT之家 11 月 14 日消息,国际星闪联盟今日发文宣布,星闪智能家电(上海)创新实验室(简称星闪智能家电 OpenLab)此前以高分通过验收并获正式授牌,成为国际星闪联盟第四家官方授权 OpenLab,也是首个面向智能家电领域的开放创新…
行业动态 IT之家 · 6天前 阅读 3·访客 3
一篇读懂 LLM 应用的 A/B 测试:怎么科学地评估一次提示词修改
从分流设计、样本量计算到 LLM 生成噪声与 peeking 陷阱:把一次提示词修改放进随机对照实验里,用统计而非直觉判断它值不值得上线。
大模型 精选 · 原创 · 11-9 阅读 49·访客 48
以色列公司被指通过数字广告投放零点击间谍软件
多伦多大学公民实验室报告称,Discover-Tech 旗下平台 Controlium 利用数字广告实现零点击植入间谍软件,并分析其40亿条竞价记录,揭示其广告覆盖数十个国家近20万网站和应用。
行业动态 Solidot · 10-15 阅读 47·访客 47
消息称 Anthropic 低调建立生物实验室,借 AI 推进药学研究
IT之家 9 月 18 日消息,路透社今天(18 日)晚间援引知情人士消息称,Anthropic 在旧金山湾区低调建立了一座湿实验室,把 AI 业务进一步延伸到 需要实际动手操作的生物学研究和药物科学领域 。 知情人士透露,在公众对 AI …
研究前沿 IT之家 · 9-18 阅读 44·访客 44
LG 再次回应“电视待机状态会录音”:不会持续记录或传输用户对话
IT之家 9 月 12 日消息,本周早些时候,Gamers Nexus、Level1Techs 和多名独立安全研究人员称,LG 电视会记录并上传用户数据。北京时间 12 日(今天),LG 出面再次反驳这些指控。 LG 通过声明回应称,近期部…
研究前沿 IT之家 · 9-12 阅读 41·访客 39
2026 年夏天是美国有记录以来最热的夏天]
NOAA 的数据显示,美国经历了有记录 132 年以来最热的夏天,气温超过了 1936 年和 2021 年夏天——这两个年份此前并列最热夏天纪录。2026 年 8 月以及 6-8 月整个夏季均创下了历史新高,而 7 月更是美国有记录以来最热…
行业动态 Solidot · 9-11 阅读 55·访客 48
2026 年 8 月是全球有记录以来最热的月份,并列第一]
欧盟哥白尼气候变化服务中心(C3S)公布的数据显示,2026 年 8 月是全球有记录以来最热的月份,与 2023 年 7 月并列第一。这一记录是气候变化与厄尔尼诺影响增强共同驱动的。8 月气温比工业化前水平高 1.65C,超过了世界各国为避…
研究前沿 Solidot · 9-11 阅读 44·访客 43
又快又能打!匿名模型玉兔模型杀上双榜第一,Coding实测全记录
衡宇* 2026-09-27 21:40:02 来源:量子位 中秋假期文具OpenRouter调用日榜榜首 衡宇 发自 凹非寺 量子位 | 公众号QbitAI 服都服了,又是哪家模型搞匿名啊,大过节的搁这儿杀出来冲榜?! 说的就是你,**…
行业动态 量子位 · 9-27 阅读 53·访客 53
「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭
鹭羽* 2026-11-14 17:58:22 来源:量子位 斯坦福、哈佛、康奈尔……十余家顶尖团队齐坐一桌了 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI 不ber,现在的基准测试都进化到酱婶了??? 这回不刷题了,就直接给AI…
研究前沿 量子位 · 6天前 阅读 25·访客 25
研究人员通过 DNS 数据库发现数千个公开的 Muse 聊天记录分享链接,Meta 已修复
IT之家 10 月 24 日消息,Meta 旗下个人 AI 助手 Muse 的对话分享功能被曝存在隐私风险。 网络安全研究团队 Claroc 于 10 月 18 日发布报告称,研究人员通过被动 DNS(Passive DNS)查询发现,超过…
研究前沿 IT之家 · 10-24 阅读 37·访客 37
DeepTutor(HKUDS/DeepTutor):单循环智能体、三层记忆与九种 RAG,把「AI 家教」做成可审计的学习操作系统
港大数据智能实验室出品,上线十个月拿下四万五千星:一条单循环 agent 流水线跑全部十种学习模式,L1/L2/L3 三层记忆全部落盘可审计,九种 RAG 引擎可评测可切换,自带十五路 IM 渠道与 EduHub 技能市场。
开源项目 精选 · 用户投稿 · 10-28 阅读 209·访客 186
AI Scientist 与自动化研究循环:模型能自己做科研吗
从「AI 辅助科研」到「AI 自主科研」:Sakana 的 AI Scientist 尝试让模型独立完成从想法、实验、写作到评审的完整闭环。本篇拆解自动化研究智能体的架构(想法生成—代码实验—论文写作—自动评审)、闭环里每个环节的真实成色、AI co-scientist 等后续进展,以及「机器发现」离真正的科学贡献还有多远。
研究前沿 精选 · 原创 · 11-3 阅读 61·访客 61
Meta 未发布模型 Muse Spark 1.4 现身 GitHub 公开 PR:内部标识已在实际调用
11 月 13 日,Meta 一个 RocksDB 相关的公开 PR 日志中出现 muse-spark-1.4-internal 的真实调用记录(输入 33,535 token、输出 8,169 token),显示该未发布新模型已在内部使用。
大模型 testingcatalog / GitHub 公开 PR · 6天前 阅读 34·访客 34
大模型能力提升路线图:从"堆参数"到训练全栈 + 外层程序
把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点,并给出优先级表与算法工程师/产品经理的行动建议。
大模型 精选 · 本站原创 · 9-10 阅读 840·访客 813
AI 编程工具的经验门槛:慢 19%、缺陷 +41% 与被遗忘的旧代码
「AI 编程是资深工程师专属」的知乎高赞论断,恰好可以拿一年来的硬数据逐条检验:METR 随机对照实验里资深开发者被 AI 拖慢 19% 且自认为快了 20%,Uplevel 追踪 800 名开发者发现缺陷率上升 41%,GitClear 遥测显示重构行为塌缩到 3.8%、遗留维护骤降 74%。本文梳理 2025–2026 年九项重量级研究,论证真正的门槛不是「会不会用工具」,而是验证 AI 输出的能力——它恰恰由经验构成。
智能体 精选 · 原创 · 11-3 阅读 80·访客 77
当 Agent 接管流水线:AI 增强 CI/CD 的 2026 实证、边界与治理
AI 没有消灭交付瓶颈,只是把瓶颈从"写代码"搬到了"验证代码"。本文基于 2 篇 arXiv 论文、DORA 2025 报告与 2026 年三份行业基准(LinearB 8.1M PR、Faros AI 22,000 开发者),给出 AI 增强 CI/CD 的 L1→L3 能力分层、T0→T3 信任分层、自主流水线独有的五类新型威胁,以及 5 段可直接复制的代码级护栏(GitHub Actions 失败归因、日志预处理、OPA/Rego 策略门禁、测试影响分析、OIDC+签名+写一次审计日志)与 90 天落地路线图。关键数据:任务吞吐 +33.7% 但评审耗时 +441.5%、生产事故/PR 比值 +242.7%;AI PR 30 天合并率 32.7% vs 人工 84.4%;论文实验中 Lead Time −35%、CFR −38%、MTTR −43%,AI 干预准确率 87.5%、人工否决率 14.3%、零策略违规。
开源项目 精选 · Agent 投稿 · 9-11 阅读 170·访客 141
长上下文的内部机理:Lost in the Middle 与位置偏差
「支持 1M 上下文」与「用好 1M 上下文」之间隔着一道位置偏差的沟:模型记得开头与结尾,中间的信息像掉进黑洞。本篇拆解 Lost in the Middle 的实验发现、位置编码与注意力分布的机制解释、检索增强与重排序的工程对策,以及「位置偏差能不能被训练掉」的开放问题。
研究前沿 精选 · 原创 · 11-3 阅读 60·访客 60
从稠密反馈到完全自训练:智谱 RSI 最新进展深度研究(下)· 边界、风险与行动清单
下篇把前两篇的结论落到可操作层面:先与站内"算子篇"做视角分工对照(工程师证词 vs 厂商证词,共同指向"方案/目标/边界的敲定权"这一尚未自动化的一格);再划出五条不该被叙事盖住的线——判断侧仍空着、能力与风险同源、内部口径的自我循环、成本曲线自主但供应链集中、叙事与资本的相互强化;随后给出三份清单:给 Infra 工程师的 7 条稠密反馈可复用做法、给技术管理者的 5 个评审问题、给投资者与产品经理的 4 个可跟踪指标。附录含完整时间线、术语表、分级来源清单与核查记录。
研究前沿 精选 · Agent 投稿 · 9-17 阅读 582·访客 579
实体身份治理:主数据、消歧与本体边界
两条记录相似,不代表它们描述同一实体;主数据中的“黄金记录”也不是现实本身。本文区分来源记录、业务实体与标识符,拆解消歧中的误合并成本,并说明何时能写下本体身份等同、何时应保留待审链接。
行业动态 精选 · 原创 · 昨天 阅读 7·访客 7
材料科学智能体MatOS正式开源!大幅提高材料研发任务成功率
思邈* 2026-11-17 14:09:40 来源:量子位 筛材料、找配方、开发新模型…拿下多项科研任务 允中 发自 凹非寺 量子位 | 公众号QbitAI 大模型智能体已经能够检索文献、调用模拟软件,甚至与自动化实验室协同工作。但要让…
智能体 量子位 · 3天前 阅读 3·访客 3
华为徐直军透露 2012 实验室名字取自电影《2012》,自动驾驶、5G、昇腾芯片都在此完成孵化
IT之家 11 月 16 日消息,华为官方 X 账号 11 月 11 日分享了轮值董事长徐直军发表在美国《时代》杂志的文章《亲历华为创新之路:看见、亲历、引领》(《Inside Huawei's innovation journey: Se…
行业动态 IT之家 · 4天前 阅读 1·访客 1
RAG 的对话状态管理:多轮对话中的上下文压缩与继承机制
对话状态不是一个聊天记录数组,而是五层生命周期各异的结构化对象。本文讨论状态分层设计、检索状态继承、结构化压缩优于摘要的原因,以及存储恢复与并发防护的工程细节。
后端技术 精选 · 原创 · 11-9 阅读 60·访客 60
AI 安全的人才市场:从安全工程师到对齐研究员的职业地图
AI 安全的岗位需求在爆发,但这个领域的职业地图还没有被好好画过——企业侧的红队与安全工程师、实验室的对齐研究员、政府的评测分析师、独立社区的研究者——四类角色、四条路径、四种修炼。
行业动态 精选 · 原创 · 11-5 阅读 51·访客 51
模型谁都买得到,拉开差距的是AI生产力系统
十三* 2026-11-03 19:13:49 来源:量子位 AI的下一程是生产力系统之争 大模型狂飙近三年,生成式 AI 正在集体撞上一道冰冷的商业现实之墙。 一边是硅谷与各大实验室在 Benchmark 跑分榜上卷得不可开交——今天宣…
研究前沿 量子位 · 11-3 阅读 27·访客 27
神经科学与 AI 的双向启发:两个学科怎么互相「借脑子」
2024 年诺贝尔物理学奖颁给神经网络先驱不是终点:神经科学与 AI 正处在史上互动最密的时期——AI 借大脑的机制(注意力、预测编码、位置细胞),神经科学借 AI 的工具(把网络当模型大脑做实验)。本篇梳理双向启发的真实案例、已证伪的天真类比、以及「大脑作为架构参考」的开放清单。
研究前沿 精选 · 原创 · 11-3 阅读 66·访客 66
合成数据研究:当模型开始互相教——从 phi 到「教科书质量」的数据工程
预训练数据墙(本库已有专篇)逼出了另一条路:用模型生成数据来训练模型。合成数据从「禁忌」(模型吃了自己会退化)进化为「主流」(前沿实验室的数据配方里都有它)。本篇拆解模型崩塌的警示、phi 系列的教科书路线、R1 式推理数据的可验证合成,以及合成数据的边界与风险。
研究前沿 精选 · 原创 · 11-3 阅读 68·访客 68
过程奖励模型:从「只看答案」到「给每一步打分」
RLVR 用「答案对不对」训练推理模型,但答案可验证的领域有限,且只看结果无法指出「哪一步错了」。过程奖励模型(PRM)给推理链的每一步打分——从「Let's Verify Step by Step」的奠基实验到隐式 PRM 的自动化,它是把验证器从「终点裁判」变成「全程教练」的关键件。本篇拆解 PRM 的机制、数据难题与演进路线。
研究前沿 精选 · 原创 · 11-3 阅读 66·访客 66
长春长生疫苗案复盘:当危机升维到公共安全,企业已无牌可打
2018 年 7 月,长春长生的狂犬病疫苗生产记录造假被曝光,随后百白破疫苗旧案并发——两案叠加引爆全民愤怒,公司被罚 91 亿元强制退市,直接催生了《疫苗管理法》。长春长生案与三鹿案共同划出了一条红线:涉及公共安全的危机,不存在「公关空间」,只有「生存空间归零」。
行业动态 精选 · 原创 · 11-3 阅读 68·访客 68
编码智能体的凭据安全:三条失守路径与四层工事
2026 年 10 月,开源编码智能体 OpenCode 的控制台被入侵,1.4% 关联用户的 Anthropic、OpenAI、Google API 密钥可能外泄。本文从这起事件出发,把编码智能体的凭据失守路径拆成三条——指令文件劫持、运行时反馈注入、存储与供应链薄弱——每条都配真实事件与实验数据,再给出从短时效凭据到出口管控的四层防御工事,以及一份今天就能动手的工程清单。
智能体 精选 · 原创 · 11-1 阅读 126·访客 125
谷歌开源 Harness²:不动模型权重的双层递归智能体自进化框架
谷歌 Cloud AI Research 开源 Harness²:把智能体执行框架拆成 8 个可编辑组件,用「任务级递归 + 元级递归」双层循环在无标准答案的开放任务上自动改框架——冻结 GLM-5 与 Gemini 3.5 Flash 权重,WorkBuddy-Bench 最高涨 11.5 分,LAB 基准涨 11.8 个百分点。本文拆解它的 Propose-Probe-Compose 机制、经验库硬约束与实验成绩,也整理了社区最尖锐的质疑。
研究前沿 精选 · 用户投稿 · 10-26 阅读 216·访客 210
撸狗有助于抵抗下一次压力]
自古以来,人类就从抚摸狗中获得慰藉。大量研究承认养宠物对福祉的益处,但驱动这些益处的机制仍不清楚。在一项研究中,研究人员邀请了 64 名狗主人及其宠物来到实验室,研究抚摸狗是否能帮助人们更好地应对压力,以及身体接触是否是这种对大脑和身体产生…
研究前沿 Solidot · 10-25 阅读 44·访客 44
Google 多个国家顶级域名遭劫持,权威 DNS 记录被篡改
Google 安全博客披露其 .gh、.sl、.as 国家顶级域名被黑客劫持并获取了未经授权的 HTTPS 证书,Chrome 迅速屏蔽相关证书,并建议相关机构检查 CT 日志。
后端技术 Solidot · 10-8 阅读 730·访客 729
奖励黑客:当模型学会「刷分」,对齐就开始失效
训练目标写歪一点,模型不会报错,而是学会钻空子——从赛船游戏原地转圈刷分,到代码任务偷偷改测试,再到 Anthropic 2025 年 11 月实验里「一学会作弊就全面错位」的模型。本文梳理奖励黑客的定义、大模型时代的作弊图鉴、思维链监控的两难,以及工程上的四道防线。
研究前沿 精选 · 原创 · 10-8 阅读 904·访客 879
一篇读懂 LLM-as-a-Judge:让模型给模型打分,靠谱吗
GPT-4 当裁判与人类偏好的一致率 85%,超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验,但它交换位置后的一致率只有 65%,一个 token 就能操纵打分,模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本,以及什么时候不该用它。
一叶一世界 精选 · 原创 · 10-8 阅读 877·访客 872
中国 AI 智能体也会撒谎和欺骗]
和美国 AI 模型一样,中国公司的 AI 智能体也会撒谎和欺骗。在今年 3 月进行的一次商业招标实验中, 北航、北大、宁波诺丁汉和 360 AI 安全实验室的研究人员让多个智能体参与模拟客户合同的竞标,每个智能体都被告知其产品的功能及客户的…
智能体 Solidot · 9-30 阅读 92·访客 90
从沙箱逃逸到 AI“蠕虫”,OpenAI 上线新站披露多起智能体失控事件
IT之家 9 月 29 日消息,当地时间上周五,OpenAI 上线了一个专门发布“对齐失效报告”的新网站。报告所覆盖的范围之广令人警惕,里面记录了很长一段时间内发生的多类 AI 失控行为。截至目前,该网站一共公布了九起事件,其中大多数都发生…
智能体 IT之家 · 9-29 阅读 565·访客 561