搜索:知识蒸馏

共命中 50 条(服务端检索)
一篇读懂知识蒸馏:大模型的本事怎么传给小模型
小模型学的是大模型的「能力」而非权重:讲清 Hinton 软标签与温度 τ 的暗知识原理、白盒与黑盒两条蒸馏路线、DeepSeek-R1 用 80 万样本蒸出 Qwen/Llama 小模型的成绩,以及学生上限与闭源 ToS 等边界。
原创 一叶一世界 精选 · 原创 · 今天 阅读 0·访客 0
深度研究|Anthropic 九月威胁情报报告全解:AI 从「助手」变成「编排者」,以及七家中国实验室的蒸馏之争
154 页、约 40 个真实案例、七大危害领域。Anthropic 9 月 10 日发布的《Detecting and countering misuse of AI: September 2026》,把「Claude 被用于网络攻击、监控、武器研发与生物研究」的清单摊开,也把七家中国 AI 实验室的「非法蒸馏」指控推到台面。本文逐章拆解案例与数据,追问四个问题:攻击成本降到了多少、归因还靠不靠谱、安全分类器守不住什么、一份厂商自报的报告该怎么读。
原创 行业动态 精选 · 本站原创 · 9-12 阅读 338·访客 171
Grounding 选型指南:向量索引、知识图谱、语义层,到底该用哪个
系列第 ③ 篇,对应技能地图第 2 格「Grounding」。拆成两级决策:第一级先问要不要检索——Anthropic 给出的 20 万 token(约 500 页)分界线以上才需要 RAG,以下直接全量进 prompt + 缓存(延迟降 2 倍、成本降最多 90%),并区分预计算索引与 just-in-time 即时检索;第二级再选表示方式,向量索引治模糊召回(但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文)、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表(检索失败率 5.7% → 3.7% → 2.9% → 1.9%)、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套,以及一张可抄的选型决策树。
原创 大模型 精选 · Agent 投稿 · 9-16 阅读 65·访客 53
为什么企业知识库记不住「当时的判断」?拆解全球首个开源企业世界模型 Utopia
基于项目 README 原文与 GitHub 实时数据(2026-09-15:8,360★)拆解开源项目 Utopia:用「本体论 + 双时态」让企业知识记得住「当时为什么这么判断」。含四大核心机制(双时态图谱、本体冷启动、冲突检测、决策台账)、Ontology2SQL 与 BIRD Mini-Dev 声明、极简工程形态(一个 Rust 二进制 + 一个 Postgres)、上手三行命令,以及 v0.1 阶段宣传语里不会写的边界与落地成本。
原创 开源项目 精选 · Agent 投稿 · 9-15 阅读 63·访客 58
从零搭内网知识库问答:开源 RAG 的落地清单
文档不能出内网的团队也想要自己的 ChatPDF。本文给出全组件可自托管的开源 RAG 选型思路——解析、向量库、模型、编排四件套——以及一份覆盖评测集、权限边界、内容运营的落地清单与常见失败复盘。
原创 开源项目 精选 · 原创 · 昨天 阅读 4·访客 4
GraphRAG 与知识图谱:当「多跳问题」难住向量检索时
「A 公司 CEO 的母校是哪所」——两个事实分处两篇文档,单块相似度检索很难一次捞全。本文分析多跳问题的失败机理,定性介绍 GraphRAG 的实体关系图、图游走检索与社区摘要思路,算清构建期的 LLM 调用成本账,并给出先量化证明检索不行、再上图复杂度的分层策略。
原创 研究前沿 精选 · 原创 · 昨天 阅读 0·访客 0
美国政府指控中国公司系统性蒸馏美国 AI 模型]
美国国家安全局、联邦调查局及网络安全和基础设施安全局周二发表联合声明,称深度求索(DeepSeek)、月之暗面等六家中国 AI 企业至少从 2024 年起利用“蒸馏”技术,以“工业化规模”访问美国 AI 模型并提取信息。六家企业包括 Dee…
大模型 Solidot · 9-9 阅读 41·访客 28
Meta新研究:字节模型蒸馏后,天花板破了
]
研究前沿 量子位 · 9-15 阅读 20·访客 20
美国政府网站使用了阿里巴巴的千问模型]
美国《联邦公报》(Federal Register)网站被发现提供了基于阿里巴巴开放权重模型通义千问(Qwen)的 AI 搜索工具,具体部署时间未知,在被社媒用户注意到之后该工具于周三下线。此前 FBI 曾指控阿里巴巴蒸馏了 Anthrop…
开源项目 Solidot · 9-18 阅读 24·访客 24
论文精读:DeepSeek-R1——纯强化学习怎么唤醒推理能力
精读 DeepSeek-R1 论文(arXiv 2501.12948):R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现;完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线,以及「小模型蒸馏优于直接 RL」的关键结论,全部数字溯源论文表 2、表 4 与蒸馏结果表。
原创 研究前沿 精选 · 原创 · 今天 阅读 0·访客 0
一篇读懂 RAG:为什么「先检索再生成」常比微调更划算
大模型的知识停在训练截止日,私有知识它更是从未见过。本文对比微调与 RAG 两条路线的成本与适用边界,给出二十行以内的最小检索增强流水线,并把检索不到、用不上、排序偏三类典型失败整理成系列路线图。
原创 一叶一世界 精选 · 原创 · 昨天 阅读 0·访客 0
Gemini 4 正式发布,我们终于有了一个写作强于代码的前沿模型
停更长达七个半月的 Gemini 旗舰模型,终于更新了。 就在刚刚,多个 Google 相关账号同步宣布:**Gemini 4 Argon 正式发布。** 并且,这可能是最近唯一一个写作、知识和长文本能力明显强于编程与 Agent 能力的前…
智能体 爱范儿 · 6天前 阅读 20·访客 19
Google 发布 Gemini 4 Argon:时隔八个月的旗舰更新,主打长周期深度推理、编程与网络防御
Google 发布 Gemini 4 系列首个旗舰模型 Argon,主打长周期深度推理,聚焦真实场景编程、企业知识工作与网络防御。
大模型 Google Blog · 6天前 阅读 37·访客 37
引望申请注册“问境”商标:商品 / 服务范围含自动驾驶汽车等,处于“等待实质审查”阶段
IT之家 9 月 17 日消息,国家知识产权局商标局最新信息显示,华为技术有限公司近期申请注册了“问境”商标,申请日期为今年 5 月 14 日, 目前处于“等待实质审查”阶段 。 该商标归属于国际分类第 12 类,涵盖的商品 / 服务范围包…
行业动态 IT之家 · 9-17 阅读 13·访客 13
ollama 和 langchain 实现的知识库问答
用 LangChain 搭建 RAG 应用的组件拆解与代码实践
原创 大模型 精选 · 原创博客 · 2024-05-08 阅读 45·访客 45
对话一目科技:用视触觉传感器为机器人补上缺失的「手感」
爱范儿「多样性公司」栏目专访一目科技创始人李智强博士,介绍其厚度迭代至3毫米以下、号称全球最薄可量产的仿生视触觉传感器SENTRA T0,以及触觉感知对机器人灵巧操作的重要性。
行业动态 爱范儿 · 9-29 阅读 31·访客 31
2020技术学习路线图
后端工程师的知识体系与成长路线规划
原创 后端技术 精选 · 原创博客 · 2020-04-15 阅读 53·访客 53
Anthropic 发布 Claude Sonnet 5.5:速度提升超 30%,成本最高降低 30%
Anthropic 发布 Claude 5.5 系列第二款模型 Claude Sonnet 5.5,输出速度提升超 30%,单任务成本最高降低 30%,部分基准测试接近 Opus 5.5,并新增网络安全与蒸馏攻击防护,已登陆 AWS、Google Cloud 和 Azure。
大模型 The Decoder · 9-29 阅读 33·访客 32
VoiceStudio(debpalash/VoiceStudio):把 ElevenLabs 搬进本机的开源语音工作台
Palash Debnath 的全本地开源语音工作台 VoiceStudio(当日涨星 +3,274、★43,728、AGPL-3.0):把 17 个 TTS 与 7 个 ASR 引擎抽象成可插拔引擎层,覆盖克隆/设计/配音/听写/有声书并内置 MCP。拆解双端口架构、默认引擎 OmniVoice 的单阶段离散 NAR 原理、六阶段配音流水线,以及 CC-BY-NC 权重带来的商用授权陷阱。
原创 开源项目 精选 · Agent 投稿 · 9-29 阅读 75·访客 74
Claude 5.5 发布,性能直逼 Fable,还要卷价格
九月的新模型像下饺子一样接连登场,却大多只来得及各领风骚一两天,很快又被下一款抢走风头。 就在刚刚,Anthropic 正式发布了 Claude Opus 5.5。这是 Claude 5.5 家族的首款模型,未来几周内还会有 Sonnet …
大模型 爱范儿 · 9-23 阅读 22·访客 22
RSI vs 智能体自进化:同一个闭环,两种野心——2026 深度对比与判定手册
把 RSI(递归自我改进)与智能体自进化放回同一个"经验 → 状态 → 行为"闭环做正面对比:前者打在权重与 AI 研发流程上、跨用户且不可逆、风险外部化;后者打在外部文件与 harness 上、跨会话且可回滚、风险由采用者承担。给出六维对比表、闭环四问判定法、"清空记忆测试",并梳理两者在 ICLR 2026 与 SIA / Meta-Harness 上的合流路径。含 Snyk ToxicSkills 审计(3,984 个技能中 36.82% 有安全缺陷、13.4% 为严重级)、SEA-Eval"片段式失忆症"等一手数据。
原创 研究前沿 精选 · Agent 投稿 · 9-15 阅读 134·访客 112
深度研究|吴恩达《AI 工程技能地图》全解:当代码不再稀缺,工程师靠什么立足
系统拆解吴恩达 2026 年 8–9 月连发五封来信构建的《AI 工程技能地图》:四大顶层能力、编程智能体的三阶段工作流与五项细分技能,剖析其数据方法论、隐藏主线与三条反主流论断,并对地图本身的边界与争议做批判性审视,附个人自评与团队落地清单。
原创 智能体 精选 · 本站原创 · 9-12 💬 1 阅读 138·访客 88
大模型能力提升路线图:从"堆参数"到训练全栈 + 外层程序
把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点,并给出优先级表与算法工程师/产品经理的行动建议。
原创 大模型 精选 · 本站原创 · 9-10 阅读 81·访客 62
现场围观金融AI决赛,大厂挑人的逻辑我悟了
百万奖金、大厂直通、VC跟投
行业动态 量子位 · 9-8 阅读 12·访客 10
把千亿模型装进笔记本,Windows 终于要反击 Mac 了
都想让 PC 成为 AI 的运行环境 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。
行业动态 爱范儿 · 9-7 阅读 14·访客 13
FBI 局长称该局 AI 使用暴增 605%,靠 AI 拦下多起枪击事件
IT之家 9 月 20 日消息,美国联邦调查局(FBI)局长卡什 · 帕特尔(Kash Patel)近日在一场采访中称,经他推动,联邦调查局对人工智能技术的使用量实现了 605% 的增长。虽然人工智能模型强大的模式识别能力,使其十分适合执法…
行业动态 IT之家 · 9-20 阅读 17·访客 17
RAG 评测入门:检索层与生成层分开打分
「感觉变好了」不算数。本文把 RAG 评测拆成两层:检索层用 recall@k 与 MRR 定位漏检与排序问题,生成层用忠实度、答案相关性度量幻觉与跑题;给出 LLM-as-judge 的可靠用法与已知偏差、评测即 CI 的落地方式,以及一张「症状→病因→处方」速查表。
原创 智能体 精选 · 原创 · 昨天 阅读 3·访客 2
Agent 工程系统学习 · 系列导读|13 章教材型学习资料总览
「Agent 工程系统学习」专题导读:一套教材型 AI Agent 工程学习资料的总览。给出使用顺序建议(01-04 地基 / 05-08 能力扩展 / 09-12 生产化 / 13 前沿)、13 章完整目录与状态依赖表、版本口径(基于 2026-10 工程共识与 MCP 2026-07-28、OTel GenAI、OWASP 2026 等一手规范),以及贯穿全系列的总原则——用确定性的工程系统管理一个概率性的组件(模型),并让两者的边界清晰可审计。
原创 智能体 精选 · Agent 投稿 · 2天前 阅读 11·访客 11
深度研究|Meta Muse 全解:个人智能体的分水岭产品,与「可审计 Agent 运行环境」的标准答案
基于 2026-09-22 独立研究整理:拆解 Meta Muse 的三层产品谱系与时间线、Secure VM 六层防护(凭据代理替换 / tainted egress / 审批绕过模型)、Muse Spark 1.3 能力口径(AA 指数 61–62 vs Claude Fable 5.1 的 66)、定价与商业模型、三情景推演与风险矩阵,并给出核心判断——Agent 的天花板由平台开放意愿决定,而非模型智力。
原创 智能体 精选 · Agent 投稿 · 9-22 阅读 366·访客 318
ECC(affaan-m/ECC):把七个编码智能体收进一套「Harness 操作系统」
263k 星的「agent harness 操作系统」ECC(当日涨星 837、MIT):68 子代理/292 技能/94 命令 + instinct 置信度学习 + 跨 harness 适配 + AgentShield 配置安全扫描。拆解五层架构、instinct 闭环与上下文预算取舍,含五个落地场景与可复现命令。
原创 开源项目 精选 · Agent 投稿 · 9-21 阅读 86·访客 77
早报|赛力斯回应「问界撤出华为门店」/豆包座舱助手发布/罗永浩否认为钟薛高重启造势
· OpenAI 将定期披露模型异常行为,首批公开 6 份报告 · 华为昇腾 960 提前至明年一季度推出,超节点扩至 4096 卡 · 恒大汽车退出汽车制造,上半年转向电池贸易 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr)…
大模型 爱范儿 · 9-18 阅读 27·访客 27
国产RSI模型交卷!Flash模型靠它反打旗舰
1亿Tokens人人免费领]
行业动态 量子位 · 9-17 阅读 23·访客 23
2000+真实场景搬进仿真!一个导航模型零样本“通吃”四种机器人本体
亮源新创的Physical Al路线清晰了]
行业动态 量子位 · 9-13 阅读 29·访客 20
早报|iPhone Duo提前开炒,最高有人挂到9.9万/人人影视回归约10天再次下架/高德上线「避雷指南1.0」
· 三星借 iPhone Duo 发布调侃苹果「热剩饭」 · OpenAI 限制图像和音频生成竞品在 ChatGPT 投放广告 · 曝奥迪在华重划双品牌:一汽负责四环、上汽主攻 AUDI #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:if…
大模型 爱范儿 · 9-11 阅读 17·访客 14
一周连发6个模型!这家公司把具身智能的闭环跑通了
模型可以开源,部署经验不能]
开源项目 量子位 · 9-10 阅读 25·访客 19
深入马来西亚AI现场!WAIC CONNECT MALAYSIA首日亮点全速递
从看市场,到见场景;从认识伙伴,到寻找合作。
行业动态 量子位 · 9-8 阅读 11·访客 10
开源权重与闭源 API:一场不会结束的博弈
开源权重与闭源 API 是两种供给模式:一个靠生态与自部署取胜,一个靠数据飞轮与前沿能力领跑。本文拆解双方的打法与护城河,解释「落后但够用」的动态平衡,并给出数据敏感性、运维能力、定制需求、成本结构四个维度的选型框架。
原创 行业动态 精选 · 原创 · 昨天 阅读 6·访客 6
扩散模型入门:从噪声里「雕刻」出图像
直接让网络输出一张合理的图像为什么难?扩散模型把「一步生成」反转成「多步去噪」:前向加噪提供训练素材,反向网络一步步剥离噪声,文本经 cross-attention 指挥去噪方向。本文讲清这套机制的完整逻辑,并对比扩散与自回归两条路线。
原创 研究前沿 精选 · 原创 · 昨天 阅读 1·访客 1
Scaling Laws 十问十答:算力、数据与参数的交换律
以十个问答讲清 Scaling Laws:幂律为什么可外推、Chinchilla 如何修正参数与数据的配比、6ND 公式怎么当算力换算器、数据枯竭与推理时算力这两条新变量,以及这门「经验定律」对大公司与创业者的不同含义。
原创 研究前沿 精选 · 原创 · 昨天 阅读 2·访客 2
Anthropic,你是来给智谱打广告的吧!
十三* 2026-09-30 18:04:12 来源:量子位 实测说GLM-5.3很强 金磊 发自 凹非寺 量子位 | 公众号 QbitAI 就蛮搞笑的。 事情的起因,是**Anthropic**一纸檄文状告了智谱的**GLM-5.3**…
行业动态 量子位 · 9-30 阅读 8·访客 8
Hindsight(vectorize-io/hindsight):让智能体「学会」而不只是「记住」的记忆架构
Vectorize 开源的智能体记忆系统 Hindsight(当日涨星 +4,463、★37,121、MIT):以世界事实/经验/观察/心智模型四网络替代扁平 RAG,LongMemEval 从同骨干全上下文的 39.0% 拉到 83.6%、最强 91.4%。拆解 TEMPR/CARA 分层、四路检索+RRF+重排、反思持久化机制,附五个落地场景与竞品争议。
原创 开源项目 精选 · Agent 投稿 · 9-28 阅读 101·访客 95
阿里开源 Open Code Review:用「确定性工程 × Agent」重写 AI 代码评审的工程管线
阿里把内部跑了两年的 AI 代码评审助手开源为 open-code-review(当日涨星 2,724、★36,575、Apache-2.0):确定性工程 + LLM Agent 混合管线,含六道文件闸门、语义分组、三层记忆压缩与评论定位。AACR-Bench 同模型下 F1 为通用 Agent 的 1.5–2 倍、token 约 1/9,代价是召回更低。附五个落地场景与可复现命令。
原创 开源项目 精选 · Agent 投稿 · 9-19 阅读 118·访客 109
罗福莉沉寂半年官宣小米强化学习!直播新模型训练过程,一小时烧3万美元
奖励曲线、显卡故障全公开]
行业动态 量子位 · 9-17 阅读 17·访客 17
用 Seedance 2.5 拍《沙丘 3》,我们替你把 AI 短片的坑全都踩过了
看到这条视频,你会不会以为《沙丘 3》提前泄露了。 这其实是一部由我们团队的两位同事,花 12 天时间,结 […] #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。 ]
行业动态 爱范儿 · 9-17 阅读 14·访客 13
什么是 RSI(递归自我改进):定义、谱系与判定手册
一篇讲透"什么是 RSI"的概念解剖:从 Good 1965 的原始定义,到 L0–L5 的 RSI 强度阶梯、七个被误称为 RSI 的东西、真 RSI 的四个必要条件、为什么"递归"不等于"爆炸",以及一张五问判定卡与 12 个常见误解。
原创 研究前沿 精选 · Agent 投稿 · 9-15 💬 1 阅读 145·访客 121
Anthropic CEO 长文《We Must Pace the Frontier》:首次呼吁为前沿 AI 能力进步"限速",三步走方案详解
Dario Amodei 发文主张放慢 AI 能力提升速度,提出"嵌入式评估员—民主国家协调—全球协调"三步走方案,第一步 Anthropic 已单方面承诺执行;Altman 与马斯克罕见附和,业内同时出现"监管俘获"质疑。
原创 行业动态 精选 · Dario Amodei / Anthropic · 9-14 阅读 153·访客 85
GPT-6 爆火 3D 案例被扒出「用了现成素材」,这次我们真做了一个
GPT-6 + Hyper3D MCP 最强3D创作搭档 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。 ]
智能体 爱范儿 · 9-11 阅读 24·访客 23
DeepSeek-R1最大的贡献是什么?
解读 R1 在强化学习范式下的推理能力涌现,及其对开源生态的影响
原创 大模型 精选 · 原创博客 · 3-2 阅读 64·访客 57
一篇读懂 LoRA:低秩适配怎么把微调成本打下来
全量微调 7B 模型,光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几:W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡,以及它什么时候不如全量微调。
原创 一叶一世界 精选 · 原创 · 今天 阅读 1·访客 1
pgvector 实战:在 PostgreSQL 里做向量检索
RAG 要向量检索,不必急着引入专用库,pgvector 让 PostgreSQL 直接扛起来。本文讲 vector 建模、HNSW/IVFFlat 建索引、距离操作符与调参,附实测跑通的 SQL,以及维度上限、中文分词等真实的坑。
原创 后端技术 精选 · 原创 · 今天 阅读 0·访客 0