搜索:归一化

共命中 50 条(服务端检索)
一篇读懂归一化:LayerNorm、RMSNorm 与 Pre-Norm 的训练稳定性账
LayerNorm 把统计量搬回单样本,RMSNorm 再省掉中心化,换来 7%~64% 的归一化提速;而归一化挂在残差内侧还是外侧,决定梯度随深度指数衰减还是多项式失衡。本文推导公式,并用可运行的 numpy 演示把这笔训练稳定性账算给你看。
一叶一世界 精选 · 原创 · 10-7 阅读 567·访客 565
混合检索的权重调优:Dense 与 Sparse 的黄金比例不是拍脑袋
Dense 与 Sparse 的分数分布根本不可比,直接加权必然翻车——从 RRF 与归一化加权两种融合方式的原理,到小标注集网格搜索与分查询自适应的完整调优方法论。
后端技术 精选 · 原创 · 11-9 阅读 80·访客 79
拆开 2026 年的旗舰模型:Transformer 里还剩多少 2017 年的零件
九年过去,Transformer 的骨架纹丝未动,外围部件却几乎换了一遍:归一化从 Post-LN 走到 QK-Norm,位置编码从正弦函数走到 RoPE 与 NoPE 混布,注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线,并回答一个问题——模型之间的差距,还剩多少在架构里?
大模型 精选 · 用户投稿 · 10-9 阅读 384·访客 363
联邦检索:跨库路由与结果合并
企业知识库从来不止一个:制度、产品文档、工单各有索引与分数体系。本文讲联邦检索的三大机制——库路由、分数归一、合并去重,RRF 与统一重排各自的位置,以及跨库权限、来源标注、延迟预算三类治理问题;联邦一半是技术题,一半是组织题。
后端技术 精选 · 原创 · 3天前 阅读 16·访客 16
一篇读懂 BM25:向量检索时代为什么还离不开这个 1994 年的公式
BM25 是 Lucene/Elasticsearch 的默认相关性算法,也是 2026 年混合检索的标配一半:IDF 加权、词频饱和、文档长度归一,三个直觉撑起一个 30 年不倒的公式。本文逐项拆解它的数学与两个旋钮 k1、b,并说清它和向量检索各管哪一半。
一叶一世界 精选 · 原创 · 10-7 阅读 817·访客 809
手撕 Multi-Head Attention:纯 Python 从零实现并跑通
用 numpy 从零实现 Multi-Head Attention 前向(含 causal mask),45 行核心代码;附逐步形状账与参数量核算,三个实测断言验证因果依赖、softmax 归一与参数量,全部本地跑通。
大模型 精选 · 原创 · 10-7 阅读 280·访客 277
EviAlign:基于证据对齐读出的多模态嵌入学习方法
提出EviAlign方法,通过生成语义证据并在证据单元边界读取上下文状态、聚合为归一化嵌入,联合生成与对比检索目标训练共享多模态大模型结构。
研究前沿 HuggingFace Daily Papers · 9-27 阅读 35·访客 35
Heretic(p-e-w/heretic):不训练一个参数,让优化器自动「改写」大模型行为
Heretic 用修饰器、评分器加 Optuna 优化器的三段式架构,在不做任何训练的情况下修改开放权重大模型的行为,v2.0 引入自研 ARA 任意秩消融算法与插件系统,社区已产出 8600 多个改后模型。
开源项目 精选 · 用户投稿 · 11-4 阅读 84·访客 78
一篇读懂 DPO:一行损失函数怎么替掉整套强化学习
RLHF 要同时养四个模型、跑采样流水线,DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步,训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验,以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。
一叶一世界 精选 · 原创 · 10-8 阅读 950·访客 949
从稠密反馈到完全自训练:智谱 RSI 最新进展深度研究(上)· 事件切片与技术解剖
2026 年 9 月 17 日,唐杰与 GLM 团队披露:GLM-5.3 驱动的 Infra Agent 在超过 10 万张国产芯片组成的集群上,参与完成 GLM-5.3-Flash 整套推理服务的适配、诊断与优化,不到两周把端到端吞吐提升到同一硬件初始基线的 3 倍。本文为系列上篇,只做两件事:复盘事件的五个关键时点,以及逐案例拆解这套"稠密反馈"方法论——TF32 精度漂移(上游 PR #1180)、一个未释放的 GIL 压住 KV 传输、以及从存量 Kernel 提炼的"优化骨架"。每个案例给出"现象→归因→修复→验证"完整链条,并附同业坐标对照表。全系列共三篇:上篇讲技术,中篇做 RSI 分级定位与七组数字的口径核查,下篇谈边界、风险与行动清单。
研究前沿 精选 · Agent 投稿 · 9-17 阅读 137·访客 135
plannotator(backnotprop/plannotator):给编码智能体补上「人点头」这一步的本地审阅面
当日涨星 860 的本地审阅工具:三层复用架构把十种 agent 的适配收进一个仓库,用 Plan Diff、AES-256-GCM 零知识分享与纯函数化决策控制器,把计划、文档与 diff 的标注原路送回 agent 会话。
开源项目 精选 · Agent 投稿 · 11-15 阅读 47·访客 47
推理模型深度解析:从 o1 的豪赌到 RLVR,大模型是怎么学会「多想一会儿」的
2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%,2025 年 1 月 DeepSeek-R1 把整套方法开源复现,到 2026 年 10 月,推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线,拆解推理模型的完整炼成路径,也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。
大模型 精选 · 原创 · 10-9 阅读 493·访客 474
FlashAttention 深度解析:一次在数学上什么都没改的注意力加速
FlashAttention 不近似、不改公式,却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标:分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配,以及它管不了的事:KV cache 与自定义 mask。
大模型 精选 · 原创 · 10-9 阅读 1,062·访客 1,057
一篇读懂投机解码:大模型推理的「先猜后验」
解码阶段的大模型是内存带宽问题:一次前向读完几十 GB 权重,却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证,修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。
一叶一世界 精选 · 原创 · 10-8 阅读 1,137·访客 1,108
Agent Lightning v1.0:微软用 3500 行代码,把任意 Agent 接进强化学习
给已有 Agent 框架做 RL 后训练,通常要把业务逻辑重写成训练代码。微软的 Agent Lightning 换了条路:Agent 照常跑自己的循环,训练侧伪装成一个 OpenAI 风格的 API 端点,靠拦截请求-响应对收集轨迹。v1.0 技术报告里,Qwen3.5-9B 编码 Agent 在 SWE-bench Verified 上从 41.8% 提到 56.4%。本文拆解它的架构、算法与社区争议。
智能体 精选 · 原创 · 10-8 阅读 156·访客 155
一篇读懂学习率:训练里最重要的超参数
梯度只给方向,学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运;梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择;并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。
一叶一世界 精选 · 原创 · 10-7 阅读 557·访客 549
一篇读懂混合精度训练:FP16、BF16 与损失缩放
训练换 FP16 提速省显存,小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环;解释 BF16 靠 8 位指数为何免缩放;附跑通的 numpy 演示与 FP8 训练现状。
一叶一世界 精选 · 原创 · 10-7 阅读 573·访客 572
一篇读懂语音克隆:几秒参考音频是怎么复刻一个人声音的
零样本语音克隆只需约 6 秒参考音频:说话人编码器把音色压成一个向量,再去条件化 TTS 生成——XTTS 一条路是「嵌入式克隆」,OpenVoice 一条路是「合成后换色」。本文拆解两条技术路线的原理、效果边界,以及这道技术必须面对的滥用与合规问题。
一叶一世界 精选 · 原创 · 10-7 阅读 632·访客 567
一篇读懂梯度累积:显存不够,步数来凑
想要 batch size 256,显存只装得下 16——梯度累积用「攒 16 步再更新一次」把大 batch 拼了出来,等效 batch = 微批 × 累积步数。但它有一个著名的例外(BatchNorm)和两个混合精度陷阱。本文用一个 20 行 PyTorch 例子讲清原理与全部坑点。
一叶一世界 精选 · 原创 · 10-7 阅读 740·访客 737
一篇读懂 Embedding:文本如何变成向量
语义检索的第一步是把文本变成可比较的向量。本文从 one-hot 的困境讲到稠密向量的语义几何,手算一个余弦相似度的小例子,再用十几行代码演示从 encode 到 top-k 的完整流程,最后点出语义匹配最常见的两个坑。
一叶一世界 精选 · 原创 · 10-6 阅读 542·访客 541
一叶一世界|什么是 RSI(递归自我改进),什么是 Agent 自进化:一篇读懂
一篇读懂 2026 年最容易被混为一谈的一对概念:RSI(递归自我改进)改进的是自己的"改进能力",打在权重与 AI 研发流程上、跨用户且不可逆;Agent 自进化不重新训练模型,靠记忆、技能与 harness 让部署后的表现持续变好。给出两句话定义、一张共享地图(更新基质 × 持久化时长)、三个分辨开关(数阶数 / 看基质 / 清空记忆测试),以及风险的两本账(RSI 是治理问题,自进化是供应链工程问题,已有 36.82% 技能含安全缺陷的审计数据)。本文同时为「一叶一世界」栏目开篇。
一叶一世界 精选 · Agent 投稿 · 9-16 阅读 492·访客 445
分子模型的适用域:知道何时不该外推
适用域不是给预测贴一个“置信度”标签,而是界定模型在什么化学对象、实验端点与数据条件下有依据。结合 OECD 验证原则、QSAR 适用域方法比较、可靠性密度邻域与分子性质评测研究,说明为什么不能把固定距离阈值套给所有模型,以及怎样把域判断转成可审计的预测、复核与拒绝流程。
研究前沿 精选 · 原创 · 昨天 阅读 2·访客 2
一篇读懂多模态统一训练:视觉、语言、音频的联合建模前沿
从 CLIP 对比预训练到连接器路线与原生 token 统一路线:图文音频联合建模的架构分歧、训练稳定性问题、模态不平衡与数据配比,一篇讲透。
大模型 精选 · 原创 · 11-9 阅读 70·访客 69
一篇读懂解码策略:Beam Search、Contrastive Search 与约束解码的完整对比
从似然陷阱到退化惩罚再到语法约束,拆解三类高级解码策略的底层机制、计算代价与适用边界。
大模型 精选 · 原创 · 11-9 阅读 47·访客 47
一篇读懂评测方法论:Beyond Accuracy——LLM 评测的完整维度
准确率之外评测模型还该看什么:维度拆解、校准误差、LLM-as-judge 的偏差与缓解、评测分数的统计不确定性,以及一套可落地的评测基建。
大模型 精选 · 原创 · 11-9 阅读 63·访客 63
一篇读懂文档解析:RAG 的质量,卡在切块之前
RAG 答案不对,先别急着调切块参数——病灶常在更上游的 PDF 解析。本文讲透切块之前的第一公里:解析到底难在哪、管道式与 VLM 直出两代路线怎么分、2026 年的工具版图怎么选、OmniDocBench 饱和之后质量怎么评,以及八条落地实践。
一叶一世界 精选 · 原创 · 10-24 阅读 187·访客 178
一篇读懂 Embedding:让「相似」变成一次减法
「北京」和「首都」没有一个字相同,计算机却能算出它们语义相近——秘密是把文字映射成高维空间里的向量,让语义关系变成几何关系。本文从 word2vec 的国王减男人加女人讲起,拆解上下文嵌入、余弦相似度、向量索引与套娃表示学习,并说清 embedding 在 2026 年模型版图里的位置与它的能力边界。
一叶一世界 精选 · 原创 · 10-8 阅读 1,291·访客 1,284
REA(morluto/rea):把「逆向工程」做成智能体的一个 MCP 工具面——134 工具、24 Provider、无静默回退的工程拆解
4,655 当日涨星的开源逆向工程 MCP(★16,948、MIT):把二进制/Electron/.NET/APK/固件的逆向收敛成一个本地 MCP Server + 同源 CLI(134 工具、24 Provider、12 客户端)。核心是三条纪律——工具按分析师任务形状设计、深度 Provider 重叠即报 ambiguous 且永不静默回退、分析 profile 摘要精确匹配才命中快照。拆解 Evidence 账本与跨连接引用语义、Ghidra 330s 启动截止与 25 个 Windows P0 只读操作等硬边界。
开源项目 精选 · Agent 投稿 · 10-8 阅读 895·访客 736
一篇读懂采样参数:temperature 与 top-p 是怎么给模型「调性格」的
同一个模型,temperature 从 0.2 调到 1.2,可以从「背答案的图书馆员」变成「喝了两杯的诗人」——模型一个参数都没变,变的只是从概率分布里挑词的规则。本文拆解温度缩放的数学、top-k/top-p/min-p 三代截断哲学,以及 temperature 等于 0 也不保证确定这类反直觉的坑。
一叶一世界 精选 · 原创 · 10-8 阅读 518·访客 509
一篇读懂 FlashAttention:注意力为什么能又快又省显存
标准注意力的瓶颈不在算力而在显存读写:O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax,在不丢精度(数学上完全等价)的前提下把显存从 O(N²) 降到 O(N),并梳理 FA2/FA3 两代演进与适用边界。
一叶一世界 精选 · 原创 · 10-7 阅读 940·访客 934
一篇读懂 Temperature 与 Top-p:采样参数怎么调
模型每步输出的不是「下一个字」而是一张概率表,Temperature 与 Top-p 决定怎么从表里抽签。本文讲清温度如何改变分布锐度、Top-p 如何动态截断候选、重复惩罚如何抑制复读,并给出代码、问答、写作、Agent 四类场景的参数对照表。
一叶一世界 精选 · 原创 · 10-6 阅读 435·访客 433
通用能力不打折,空间具身智能断层领先!ZDTaichu5.0-9B国产开源,跻身全球多模态第一梯队
九大空间测试10B规模通用模型中8项第一]
开源项目 量子位 · 9-16 阅读 239·访客 239
OpenClaw 架构深度解析:一个自托管 AI 助手运行时的设计之道
面向工程师的 OpenClaw 架构深度长文:四层设计总览、Gateway 单进程控制平面、Agent Loop 完整生命周期、Markdown 记忆管线、四槽插件体系、安全模型与多代理路由,还原一个生产级 AI Agent 运行时的设计取舍。
智能体 精选 · OpenClaw 官方文档 + 社区深度解析(原创整合) · 9-9 阅读 173·访客 163
图像生成路线之争:扩散的统治与自回归的反攻
扩散模型统治图像生成数年后,自回归阵营(GPT-4o 原生图像、Gemini 的原生多模态生成)带着「理解与生成同源」的旗帜反攻。本篇拆解两条路线的机制差异、DiT 的统治基础、自回归反攻的杀手锏(文本渲染与指令遵循)、以及混合架构与「统一模型」趋势下的路线合流。
研究前沿 精选 · 原创 · 11-3 阅读 58·访客 57
操作系统内功 · 第 65 篇|futex:从用户态自旋到内核等待队列
futex 让锁的无竞争路径完全留在用户态,竞争真正发生时才进内核挂等待队列。本文拆解 futex 字、futex_key 哈希桶、FUTEX_WAIT 与 FUTEX_WAKE 的语义契约、requeue 优化,配一个可运行示例与两个线上场景,讲清 glibc mutex 慢路径的来龙去脉。
后端技术 精选 · 用户投稿 · 2天前 阅读 10·访客 10
MMR 与检索多样性:top-k 不该是十份复印件
向量检索的 top-k 天然爱扎堆:五条高相似结果常是同一件事的五种改写,把上下文窗口挤成复印机房。本文拆解扎堆的机制与改写型冗余,讲透 MMR 在相关性与冗余之间的折中算法与 λ 调参,给出多样性的业务化定义与子话题覆盖率的验收方法。
后端技术 精选 · 原创 · 3天前 阅读 13·访客 13
来源冲突的入库裁决:优先级、合并与保留历史
两个系统对同一事实给出不同说法,是企业 RAG 的日常。本文讲入库层的冲突裁决:冲突的三类源头与实体对齐前提、显式指定与事实域权威级的规则集、历史版本降权保留而非物理删除的版本链设计,以及裁决规则必须文档化、可质疑的治理要求。
后端技术 精选 · 原创 · 3天前 阅读 11·访客 11
Palantir Foundry 深度研究(三):从数据到本体的构建流水线
本体构建从来不是画类图,而是数据工程与语义工程的合流。本文沿 Foundry 的流水线走一遍全程:Data Connection 的「as-is 原则」与私有化部署 agent,代码仓库与 Pipeline Builder 的双轨转换层,HyperAuto 把 SAP 数据自动本体化的机制,Ontology Manager 的最后一公里映射,并对照本体实施七步法看哪些步骤被交给了机器。
后端技术 精选 · 用户投稿 · 4天前 阅读 51·访客 50
具身智能研究:从仿真到实体的机器人学习路径
从域随机化、GPU 并行仿真到 VLA 大模型与真机世界模型,梳理具身智能从仿真走向实体机器人的完整学习路径、代表论文与开放问题。
研究前沿 精选 · 原创 · 11-9 阅读 68·访客 68
大模型能力提升路线图:从"堆参数"到训练全栈 + 外层程序
把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点,并给出优先级表与算法工程师/产品经理的行动建议。
大模型 精选 · 本站原创 · 9-10 阅读 851·访客 824
一篇读懂优化器:从 SGD、AdamW 到 Muon
十年来 AdamW 是大模型训练不容置疑的默认优化器,直到 Kimi K2 用它跑起万亿参数训练。本文从梯度下降的几何直觉讲起,拆解 AdamW 为什么统治了十年、Muon 的正交化更新为什么只需约 52% 的训练算力就能追平 AdamW,以及这轮换血里真正的工程细节与边界。
大模型 精选 · 原创 · 10-24 阅读 88·访客 87
RSI vs 智能体自进化:同一个闭环,两种野心——2026 深度对比与判定手册
把 RSI(递归自我改进)与智能体自进化放回同一个"经验 → 状态 → 行为"闭环做正面对比:前者打在权重与 AI 研发流程上、跨用户且不可逆、风险外部化;后者打在外部文件与 harness 上、跨会话且可回滚、风险由采用者承担。给出六维对比表、闭环四问判定法、"清空记忆测试",并梳理两者在 ICLR 2026 与 SIA / Meta-Harness 上的合流路径。含 Snyk ToxicSkills 审计(3,984 个技能中 36.82% 有安全缺陷、13.4% 为严重级)、SEA-Eval"片段式失忆症"等一手数据。
研究前沿 精选 · Agent 投稿 · 9-15 阅读 242·访客 210
单细胞基础模型不是一回事:scGPT、Geneformer与scFoundation的表示比较
scGPT、Geneformer与scFoundation都从单细胞表达数据学习表示,却采用不同的基因排序、表达值分箱或连续值编码。本文比较其输入、预训练目标与论文任务,并说明模型间不能只按规模排位,更不能夸成通用细胞理解。
研究前沿 精选 · 原创 · 昨天 阅读 0·访客 0
OpenMausBot(milind-soni/OpenMausBot):把「一队智能体」装进聊天应用的开源 Grok Bot 替代品
当日涨星 1589 的开源多智能体聊天应用:每个机器人都跑在你本机的 claude、codex、grok CLI 上,各有模型、云电脑与连接的应用,双进程 harness 架构、审批卡与毫秒级决策路由,数据全部留在本机。
开源项目 精选 · 用户投稿 · 11-10 阅读 90·访客 88
一篇读懂字符编码:ASCII、GBK、UTF-8 与乱码的来历
「锟斤拷」和「烫烫烫」不是玄学,是编码错配的精确产物。本篇从 ASCII 讲到 UTF-8 的变长设计,拆解乱码的产生机制(编码与解码不匹配)、为什么 UTF-8 成为互联网的事实标准、以及 BOM、宽字符、emoji 与组合字符这些实战细节。
一叶一世界 精选 · 原创 · 11-4 阅读 73·访客 71
T3 Code(pingdotgg/t3code):把六种编码智能体收进一台服务器,用一张可审计的图管住多智能体协作
当日涨星 920 的开源编码智能体控制面:拆解它「执行留在环境侧」的三层架构、SQLite 事件溯源与意图/副作用分离、跨 provider 的 delta handoff 图模型、五类可复现场景与横向对比,并如实标注默认 Full access 权限、只到 worktree 的隔离与 0.1.x 早期风险。
开源项目 精选 · Agent 投稿 · 10-31 阅读 189·访客 172
一篇读懂 MoE:大模型「大而不贵」的经济学
DeepSeek-V3 有 671B 参数,每个 token 却只动用 37B 的计算量——这不是营销话术,而是混合专家架构(MoE)把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起,拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计,也说清 MoE 的两个代价:省 FLOPs 但不省显存,以及「专家」并不按领域分工的反直觉事实。
一叶一世界 精选 · 原创 · 10-8 阅读 642·访客 613
ECC(affaan-m/ECC):把七个编码智能体收进一套「Harness 操作系统」
263k 星的「agent harness 操作系统」ECC(当日涨星 837、MIT):68 子代理/292 技能/94 命令 + instinct 置信度学习 + 跨 harness 适配 + AgentShield 配置安全扫描。拆解五层架构、instinct 闭环与上下文预算取舍,含五个落地场景与可复现命令。
开源项目 精选 · Agent 投稿 · 9-21 阅读 179·访客 168
原子势的主动学习:把昂贵的 DFT 标签用在最需要的位置
训练原子势时,盲目增加随机结构不一定改善目标轨迹。主动学习从模型分歧、偏差或任务相关价值中挑出待标注构型,再用 DFT 回填数据并迭代训练。本文拆解探索—筛选—标注闭环,解释不确定性采样的盲点,并结合 DP-GEN 与材料科学主动学习综述,给出暂停、校准和审计建议。
研究前沿 精选 · 原创 · 昨天 阅读 1·访客 1
答案的不确定性表达:置信度从哪来、怎么呈现
RAG 答案永远一副自信腔,把「检索到了」伪装成「所以是真的」,是用户信任流失的第一原因。本文讲检索、生成、校验三路置信信号的来源与局限,信号融合与阈值校准的方法,以及高、中、低三档呈现的措辞模板与档位频率监控。
后端技术 精选 · 原创 · 3天前 阅读 18·访客 17