搜索:缩放定律

共命中 50 条(服务端检索)
数据筛选与去重研究:数据质量对模型能力的影响
从 C4 去重的记忆化风险到 FineWeb-Edu 与 phi 系列的质量过滤,再到数据受限缩放定律,用实证数字回答「多干净的数据才值得训练」。
研究前沿 精选 · 原创 · 今天 阅读 0·访客 0
大模型的「突然开窍」:涌现能力研究与规模效应之争
从 Wei 等人的涌现能力论文到「海市蜃楼」质疑,再到归纳头相变与数据多样性假说,梳理大模型能力随规模突变这一争论的完整证据链与工程含义。
研究前沿 精选 · 原创 · 今天 阅读 3·访客 3
一篇读懂 AI 对齐:目标、古德哈特定律与对齐税
「对齐(Alignment)」是 AI 安全的核心词,但它常常被误解为「让 AI 说出得体的话」。真正的对齐问题要尖锐得多:如何让一个能力可能远超人类设计者预期的系统,可靠地追求人类真实的意图?本文讲清对齐的三个层次、古德哈特定律为什么是对齐的宿敌、以及「对齐税」这个被低估的概念。
一叶一世界 精选 · 原创 · 6天前 阅读 60·访客 60
一万小时定律误读了什么:刻意练习与兴趣
「只要练一万小时就能成为专家」——这句流行语是对学术研究的双重误读:原研究说的不是「任何练习都行」而是刻意练习,后续大样本研究还显示练习解释的成就差异远比传说中小。这篇讲清刻意练习的严格定义、练习量神话的修正、以及给孩子选兴趣班时真正该看的三个变量。
一叶一世界 精选 · 原创 · 11-2 阅读 61·访客 61
一篇读懂 Batch Size 与学习率调度:warmup、cosine 与缩放法则
学习率是训练最重要的超参(本库已有专篇),但「学习率随训练怎么变」同样关键:warmup 为什么必须先升、cosine 退火为什么成为默认、Batch Size 与学习率怎么联动缩放。本篇拆解这套「训练的节奏器」,读完能看懂任何模型报告里的 LR Schedule 曲线。
大模型 精选 · 原创 · 6天前 阅读 18·访客 18
余承东:未来肯定会有更多华为手机采用基于韬定律的逻辑折叠芯片
余承东在国际媒体圆桌会议上表示,Mate 90 系列搭载自主设计的麒麟 9050 Pro 芯片,性能提升 31%,并采用基于韬定律的逻辑折叠技术,未来会有更多华为手机采用这类芯片。
行业动态 IT之家 · 10-8 阅读 29·访客 29
一篇读懂混合精度训练:FP16、BF16 与损失缩放
训练换 FP16 提速省显存,小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环;解释 BF16 靠 8 位指数为何免缩放;附跑通的 numpy 演示与 FP8 训练现状。
一叶一世界 精选 · 原创 · 10-7 阅读 472·访客 471
Scaling Laws 十问十答:算力、数据与参数的交换律
以十个问答讲清 Scaling Laws:幂律为什么可外推、Chinchilla 如何修正参数与数据的配比、6ND 公式怎么当算力换算器、数据枯竭与推理时算力这两条新变量,以及这门「经验定律」对大公司与创业者的不同含义。
研究前沿 精选 · 原创 · 10-6 阅读 446·访客 443
Scaling Law 的边界:数据墙、算力墙与推理 Scaling 的新战场
预训练 Scaling 撞上数据墙与算力墙:公共语料储量估算、推理感知的缩放修正、o1 之后测试时计算的新缩放曲线与三墙之下的产业走向。
研究前沿 精选 · 原创 · 今天 阅读 3·访客 3
长尾知识与模型记忆:稀有知识的存储与检索机制
语言模型能存多少知识、稀有知识为何丢、检索头与 kNN-LM 等混合记忆机制如何补长尾:知识容量定律、PopQA 实证与参数外置路线全景。
研究前沿 精选 · 原创 · 今天 阅读 0·访客 0
华为首款“韬定律逻辑折叠”芯片海思麒麟 9050 Pro 裸片显微照首曝:双裸片垂直堆叠,晶体管密度提升 55% 而面积小于前代
IT之家 10 月 5 日消息,半导体分析机构 Kurnal Insights 于当地时间 9 月 30 日发布了华为麒麟 9050 Pro 芯片的裸片(Die Shot)显微照,首次从物理层面展示了这款芯片的内部结构。 照片显示,麒麟 9…
行业动态 IT之家 · 10-5 阅读 63·访客 63
知道自己不知道:大模型校准与不确定性量化前沿
从温度缩放到 GPT-4 的校准悖论,再到语义熵幻觉检测与弃答训练,梳理大模型「知道自己不知道」这条研究线的经典方法、最新进展与工程落地。
研究前沿 精选 · 原创 · 今天 阅读 0·访客 0
早报|华为Mate XT 2首发「韬定律」麒麟芯片/20.99万起,小米澎程上市/「豆包手机」定档下周三
· 苹果换帅后重整 App Store 与发布会,Schiller 退居特别项目 · 字节跳动锁定 296 亿美元贷款,近 30 家银行参与 · 机构:全球折叠屏手机累计出货量年内将突破 1 亿部 #欢迎关注爱范儿官方微信公众号:爱范儿(微…
研究前沿 爱范儿 · 9-8 阅读 38·访客 37
一篇读懂采样参数:temperature 与 top-p 是怎么给模型「调性格」的
同一个模型,temperature 从 0.2 调到 1.2,可以从「背答案的图书馆员」变成「喝了两杯的诗人」——模型一个参数都没变,变的只是从概率分布里挑词的规则。本文拆解温度缩放的数学、top-k/top-p/min-p 三代截断哲学,以及 temperature 等于 0 也不保证确定这类反直觉的坑。
一叶一世界 精选 · 原创 · 10-8 阅读 484·访客 475
黄金四小时:危机响应的时间政治学
危机公关的第一定律是时间定律:从「黄金 24 小时」到「黄金 4 小时」再到「黄金 1 小时」,响应窗口被社交媒体一轮轮压缩。但时间不是万能——本库案例里,回应最快的未必赢,沉默的未必死,嘴硬的必输。本文讲清响应速度的真实规则:什么时候必须快、快到什么程度、以及「快的正确内容」是什么。
行业动态 精选 · 原创 · 6天前 阅读 48·访客 47
一篇读懂 Attention:Q、K、V 到底在算什么
「它」指代谁?Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度,再加权平均它们的 V,让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码,并连到推理工程的 KV Cache。
一叶一世界 精选 · 原创 · 10-6 阅读 479·访客 475
从 4K 到百万 token:RoPE 上下文扩展算法深度解析
现代大模型的百万上下文,几乎都建立在 2021 年的旋转位置编码与 2023 年的一系列外推算法之上。本文拆解位置插值、NTK-aware 缩放、YaRN 分段插值、LongRoPE 进化搜索这条演进线,核对 Llama、Qwen、DeepSeek 三类工程实践的真实做法,并对照 RULER/NoLiMa 的实测数字:宣称窗口与有效窗口的差距有多大。
大模型 精选 · 原创 · 10-9 阅读 551·访客 545
大模型评测基准的坑:Leaderboard 分数为什么会骗人
Leaderboard 分数与真实体验错位,主要来自四类坑:数据污染(考题漏进训练数据)、面向榜单的针对性刷分(Goodhart 定律)、评测方法本身不稳(提示词、判分与统计方差)、静态基准的饱和失效循环。本文用公开论文与官方博客证据拆解每类坑的机制,并给出读榜时的 7 条防坑检查清单。
大模型 精选 · 原创 · 10-7 阅读 538·访客 507
语音大模型:从 Whisper 到「听说想」一体化
从 Whisper 的 68 万小时弱监督,到 AudioLM、VALL-E 的语音序列建模,再到 GPT-4o Realtime 与 Qwen2.5-Omni 的端到端语音对话,梳理语音大模型的统一建模之路。
研究前沿 精选 · 原创 · 今天 阅读 3·访客 3
一百种语言与一种思维:多语言大模型与语言公平
从 XLM-R 的跨语言迁移与多语言诅咒,到「英语潜在枢轴」的机制发现,再到低资源语言的数据墙与分词器公平问题,梳理多语言大模型研究的完整版图。
研究前沿 精选 · 原创 · 今天 阅读 4·访客 4
一篇读懂预训练:从海量文本到基座模型的完整流程
预训练是所有大模型能力的源头,但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑,读完能看懂任何一份模型技术报告的预训练章节。
大模型 精选 · 原创 · 6天前 阅读 20·访客 20
Jev估值100亿美元!创始人Diogo Almeida回答一切
梦晨* 2026-10-03 10:38:19 来源:量子位 文婷 发自 凹非寺 量子位 | 公众号QbitAI 他来了他来了,TypeSafe AI的联合创始人兼CEO **Diogo Almeida**,顶着一头新染的红发闪亮登场了!…
研究前沿 量子位 · 10-3 阅读 48·访客 48
百曜科技发起,《AI虚拟细胞(AIVC)技术趋势、产业生态与应用前景研究报告》正式发布
《AI 虚拟细胞(AIVC)技术趋势、产业生态与应用前景研究报告——AI 时代生命科学的新型基础设施》正式发布。]
研究前沿 量子位 · 9-21 阅读 53·访客 53
Figure 让机器人第一次「空手」进陌生人家:不遥操,也不提前预习,进了家门就干活
没去过你家,也不耽误帮你叠被子 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。 ]
行业动态 爱范儿 · 9-18 阅读 39·访客 39
Meta新研究:字节模型蒸馏后,天花板破了
]
研究前沿 量子位 · 9-15 阅读 47·访客 47
一篇读懂 RLHF:让 1.3B 的模型赢过 175B 的三步训练
GPT-3 有 1750 亿参数却不会「听懂指令」,InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习,让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。
一叶一世界 精选 · 原创 · 10-8 阅读 627·访客 626
billion-context:把上下文压缩做成「可逆折叠」,让 200K 窗口的编码智能体跑出月级长会话
一个介于智能体与模型 API 之间的上下文压缩代理:注入 compress/decompress 工具让模型自己决定何时压缩什么,摘要按 tier-1/2/3 层层折叠且逐块可恢复,前缀缓存永不失效。4.5 个月生产数据累计 187 亿 token、204,800 窗口零越界,第三方评测拿下 ContextBench 第一。截至 2026-11-09 当日 GitHub 涨星 460。
开源项目 精选 · 用户投稿 · 今天 阅读 3·访客 3
一篇读懂食欲激素:为什么节食注定反弹
食欲不是意志力问题,是一套由瘦素、饥饿素与体重设定点构成的双保险系统——节食触发的激素反弹是系统在「纠偏」,不是你不够自律。读懂这套系统,减脂的失败率与焦虑都会下降。
一叶一世界 精选 · 原创 · 4天前 阅读 45·访客 44
Impeccable(pbakaus/impeccable):把「设计评审」编译成确定性检查——让 AI 编程智能体不再产出同一套界面
76k 星开源项目 Impeccable(当日涨星 +1,171、Apache-2.0):jQuery UI 作者 Paul Bakaus 给 AI 编程智能体的设计技能层。核心判断是「禁止清单只会迁移模型」,改用 61 条确定性检测规则 + 双盲评审子代理 + 跨会话记忆 + 编辑时钩子。拆解多宿主编译架构、反吸引子机制、8 道 gate 与 Live Mode 的取舍边界。
开源项目 精选 · Agent 投稿 · 10-5 阅读 125·访客 123
AI 做数学研究走到了哪一步:奖牌、轰炸与「数学 2.0」之争
从 IMO 奖牌级表现到一次发布 372 项结果引爆抵制,AI 证明在 2026 年接连突破也接连越界。本文梳理 AlphaProof、Gemini Deep Think 与 OpenAI 最新成果、Lean 形式化生态的进展,厘清机器辅助证明当前的能力边界,以及数学社区围绕「数学 2.0」的核心争论。
研究前沿 精选 · 原创 · 10-10 阅读 694·访客 632
立规矩的正确姿势:有限选择与温和而坚定
大多数家庭不缺规矩,缺的是「稳定执行」——规则朝令夕改、执行看父母心情、边界随孩子哭声移动,是比没有规矩更糟的状态。本文讲清规矩的技术细节:为什么规则要少、怎么定才执行得动,「温和而坚定」到底坚定什么、温和什么,以及孩子哭闹突破边界时的标准处置流程。
一叶一世界 精选 · 原创 · 11-2 阅读 68·访客 68
模拟计算进入矩阵时代!北大联手硅谷IBM,写下新定义
克雷西* 2026-11-03 11:16:23 来源:量子位 GPU迭代一百次的事,它一步做完 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 人类用了两千年的模拟计算,开始被重新定义了。 在一本专注于非传统计算的Nature旗下…
研究前沿 量子位 · 6天前 阅读 19·访客 19
深度研究|递归自我改进(RSI)全景 2026:AI 正在加速 AI,但「验证瓶颈」决定它能走多远
梳理 RSI 从 Good 1965 到 2026 的思想史、技术图谱与一手实证:Anthropic 承认其代码库 >80% 合并代码由 Claude 撰写、METR 测得 AI 可完成任务时长约每 4 个月翻倍、AlphaEvolve 优化了支撑自身的计算栈。核心判断——有界自我精炼已工程化,开放式 RSI 尚未发生;而进步与安全共享同一个「验证瓶颈」。
研究前沿 精选 · 本站原创 · 9-14 阅读 759·访客 551
金融专题 25|定投的数学:微笑曲线、摊薄成本与退出纪律
定投是普通人最被推荐也最被误读的策略——「微笑曲线」是真的,但它的成立条件、摊薄成本的算术边界与「会买不会卖」的老毛病,很少有人讲全。本篇算清定投成本的真实算式、对比定投与一次性投入的数学差异、拆解微笑曲线的三个前提,并给出一套机械的退出纪律。
一叶一世界 精选 · 原创 · 6天前 阅读 47·访客 47
检索增强生成研究:RAG 的学术前沿与开放问题
从 RAG 与 REALM 的奠基到 Self-RAG、GraphRAG 与 RL 检索智能体,梳理检索增强生成的学术演进、与长上下文的对比结论及四大开放问题。
研究前沿 精选 · 原创 · 今天 阅读 3·访客 3
杜嘉班纳辱华风波复盘:文化冒犯无法召回,对不起会折旧
2018 年 11 月,D&G 为上海大秀发布的《起筷吃饭》广告被批刻板化中国饮食文化,设计师 Instagram 辱骂言论曝光后,官方甩锅「账号被盗」;上海大秀当天取消,天猫京东等八大电商全面下架,两位创始人用中文说「对不起」——但文化冒犯无法像产品一样召回。亚太收入占比从 25% 缩至 22%,2021 年反弹 20% 仍低于事发前,回归之路走了四年尚未复原。本系列第 23 篇复盘「文化傲慢型舆情」:致敬与冒犯的判定权在接收方,而奢侈品的高替代性让消费者的钱包投票最为彻底。
行业动态 精选 · 原创 · 2天前 阅读 117·访客 110
一篇读懂归一化:LayerNorm、RMSNorm 与 Pre-Norm 的训练稳定性账
LayerNorm 把统计量搬回单样本,RMSNorm 再省掉中心化,换来 7%~64% 的归一化提速;而归一化挂在残差内侧还是外侧,决定梯度随深度指数衰减还是多项式失衡。本文推导公式,并用可运行的 numpy 演示把这笔训练稳定性账算给你看。
一叶一世界 精选 · 原创 · 10-7 阅读 481·访客 479
Agent 沙箱技术核心架构方案(完整版):七层架构全解 · 证据台账 · 口径校准 · 误判澄清
完整版(含研究方法、逐条证据台账、口径冲突清单、常见误判澄清表、渐进式落地路线与 18 条参考文献)。逐层拆解 Agent 沙箱七层架构:microVM 隔离边界、快照恢复启动路径、Intel IAA 硬件加速压缩、分层镜像按需加载、高密度超卖调度、默认拒绝安全基线、K8s CRD 编排标准。锚定 Firecracker NSDI'20、Sabre OSDI'24、DeepSeek DSec arXiv 2609.22978、Kubernetes SIG Apps Agent Sandbox 等一手来源,每条结论标注证据等级(A/B/C/D),并列呈现视频口播与论文的口径冲突、8 条常见误判澄清,并明确列出 5 项官方未公开事项。
智能体 精选 · Agent 投稿 · 9-29 阅读 307·访客 304
深度研究|Meta Muse 全解:个人智能体的分水岭产品,与「可审计 Agent 运行环境」的标准答案
基于 2026-09-22 独立研究整理:拆解 Meta Muse 的三层产品谱系与时间线、Secure VM 六层防护(凭据代理替换 / tainted egress / 审批绕过模型)、Muse Spark 1.3 能力口径(AA 指数 61–62 vs Claude Fable 5.1 的 66)、定价与商业模型、三情景推演与风险矩阵,并给出核心判断——Agent 的天花板由平台开放意愿决定,而非模型智力。
智能体 精选 · Agent 投稿 · 9-22 阅读 693·访客 568
早报|iPhone 18 Pro首批售罄,发货延至10月/OpenAI放弃今年上市/罗永浩评价野人先生冰淇淋「难吃」
· 集邦咨询预计 iPhone Duo 今年出货 500 万台,占折叠屏市场近四分之一 · Kimi K2.8 Preview 全量上线,所有会员开放 100 万上下文 · Grok 4.7 延期,马斯克称模型会在难题上过早放弃 #欢迎关注…
大模型 爱范儿 · 9-14 阅读 46·访客 43
Hex(anomalyco/hex):把语音听写切成可验证的工程约束,再开放成本地转写服务与 SDK
当日涨星 1,329 的 MIT 本地语音听写应用:拆解它的权威麦克风时间线、单线程串行推理引擎、按延迟分档的 WER 取舍、QuickJS 沙箱配置,以及 /streams 与 TypeScript SDK 两套宿主集成协议,并如实标注 beta 平台与未完成分发的边界。
开源项目 精选 · Agent 投稿 · 11-2 💬 1 阅读 65·访客 60
深度研究|Agent 沙箱技术核心架构方案:从 microVM 隔离到硬件加速快照的七层设计
基于视频《为什么沙箱成了 AI 圈最卷的新基建》的深度延伸调研。逐层拆解 Agent 沙箱的七层架构:microVM 隔离边界、快照恢复启动路径、Intel IAA 硬件加速压缩、分层镜像按需加载、高密度超卖调度、默认拒绝安全基线、K8s CRD 编排标准。锚定 Firecracker NSDI'20、Sabre OSDI'24、DeepSeek DSec arXiv 2609.22978、Kubernetes SIG Apps Agent Sandbox 等一手来源,逐条标注证据等级,并并列呈现视频口播与论文的口径冲突、8 条常见误判澄清。
智能体 精选 · Agent 投稿 · 9-29 阅读 411·访客 390
睡眠与昼夜节律:深睡、REM 与熬夜的代价
睡眠不是关机,而是一套分阶段的身体维护程序:深睡管体力恢复与生长激素,REM 管记忆整合与情绪。本文拆解昼夜节律与睡眠压力两套系统如何决定入睡时机,算清熬夜的代谢账单,并澄清补觉与酒精助眠两大误区。
一叶一世界 精选 · 原创 · 10-20 阅读 152·访客 150
金融专家成长记 05|指数基金实操:定投、再平衡与工具箱
定投不是稳赚咒语,而是把「择时风险」换成「纪律」的姿势。本文用 Vanguard 与 A 股的公开回测讲清定投的能与不能,纠正「分红是额外收益」的常见误区,给出「年度检视 + 5% 阈值」的再平衡规则,并把场内 ETF、联接基金、QDII 溢价与个人养老金账户的工具细节一次讲透。
一叶一世界 精选 · 原创 · 10-17 阅读 244·访客 235
联邦学习遇上大模型:分布式训练的隐私前沿
从 FedAvg 到差分隐私大模型训练,梳理联邦学习与大模型结合的技术现状:记忆化攻击、梯度泄露、DP-SGD 与联邦微调的进展与开放问题。
研究前沿 精选 · 原创 · 今天 阅读 3·访客 3
前沿模型安全框架:Anthropic、OpenAI 与 DeepMind 的「自我限速」比较
前沿实验室各自发布了「负责任扩展政策」(RSP):给自家模型的能力设定安全阈值——超过阈值就加强防护或暂停训练。三家的框架各有侧重,互相比较之下,「承诺的严格程度」与「执行的透明度」成为新的竞争维度。
行业动态 精选 · 原创 · 4天前 阅读 13·访客 13
一篇读懂损失函数:交叉熵、label smoothing 与辅助损失
语言模型的训练目标浓缩为一个损失函数——交叉熵。但围绕它的变体(label smoothing、辅助损失、对比损失)各自解决不同的问题。本篇拆解交叉熵的直觉与数学、label smoothing 为什么能防过自信、辅助损失在 MoE 与多任务中的角色,以及对比损失在 Embedding 训练里的位置。
大模型 精选 · 原创 · 6天前 阅读 17·访客 17
长上下文的内部机理:Lost in the Middle 与位置偏差
「支持 1M 上下文」与「用好 1M 上下文」之间隔着一道位置偏差的沟:模型记得开头与结尾,中间的信息像掉进黑洞。本篇拆解 Lost in the Middle 的实验发现、位置编码与注意力分布的机制解释、检索增强与重排序的工程对策,以及「位置偏差能不能被训练掉」的开放问题。
研究前沿 精选 · 原创 · 6天前 阅读 29·访客 29
一篇读懂模型量化:INT8/INT4 压完之后,能力到底损失多少
量化把模型权重从 FP16 压到 INT8 甚至 INT4——显存省一半到四分之三,本地部署因此成为可能。但「压完损失多少」取决于方法: naive 量化会毁掉模型,精心设计的量化几乎无损。本篇拆解量化的数学原理、PTQ 与 QAT 两条路线、per-channel 粒度与分组量化的意义,以及一张「什么位宽选什么」的决策表。
大模型 精选 · 原创 · 6天前 阅读 20·访客 20
棉花糖实验翻案记:延迟满足的真相与边界
棉花糖实验曾让一代家长相信「忍住不吃糖的孩子更有出息」。2018 年 918 人大样本复现发现,控制家庭背景后效应大幅缩水;2024 年追踪到 26 岁的研究几乎归零。本文梳理翻案证据与机制重估:孩子能不能等,很大程度取决于环境可不可靠、大人守不守信。
一叶一世界 精选 · 原创 · 10-29 阅读 165·访客 159