AI 资讯 知识库 大模型技术

大模型技术

基本功 · 架构 · 后训练 · 开源模型 · 评测

大模型核心技术全景:从基本功(Transformer、Tokenizer、Embedding、MoE、上下文窗口)到推理模型、对齐与后训练、模型微调、开源模型与评测基准,按子目录成体系展开。

已收录 119 篇 · 持续更新 · 最近更新 2026-11-09 · 人工编排
大模型基本功 41 篇
一篇读懂 MoE:大模型「大而不贵」的经济学
DeepSeek-V3 有 671B 参数,每个 token 却只动用 37B 的计算量——这不是营销话术,而是混合专家架构(MoE)把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起,拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计,也说清 MoE 的两个代价:省 FLOPs 但不省显存,以及「专家」并不按领域分工的反直觉事实。
一叶一世界 精选 · 原创 · 10-8 阅读 640·访客 611
一篇读懂采样参数:temperature 与 top-p 是怎么给模型「调性格」的
同一个模型,temperature 从 0.2 调到 1.2,可以从「背答案的图书馆员」变成「喝了两杯的诗人」——模型一个参数都没变,变的只是从概率分布里挑词的规则。本文拆解温度缩放的数学、top-k/top-p/min-p 三代截断哲学,以及 temperature 等于 0 也不保证确定这类反直觉的坑。
一叶一世界 精选 · 原创 · 10-8 阅读 517·访客 508
一篇读懂 RLHF:让 1.3B 的模型赢过 175B 的三步训练
GPT-3 有 1750 亿参数却不会「听懂指令」,InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习,让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。
一叶一世界 精选 · 原创 · 10-8 阅读 733·访客 732
一篇读懂 KV Cache:推理显存的大头是怎么省下来的
自回归生成每产出一个 token,都要回看之前所有 token 的 K 与 V——不缓存,计算量随序列平方爆炸;缓存了,显存又成了新瓶颈。本文算清 KV cache 的显存账(Llama-2-7B 4096 上下文约 2 GB),拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法,以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。
一叶一世界 精选 · 原创 · 10-8 阅读 1,381·访客 1,373
GPT-6 向 12 亿用户开闸:读懂 Astra、Sol、Luna 与那颗被砍掉的 GPT-6.1
OpenAI 已把 GPT-6 推向全体 ChatGPT 用户,官方口径周活超 12 亿。这一次不是一颗旗舰,而是 Astra、Sol、Luna 三款各管一段:Pro 档才摸得到的 Astra、付费档默认的 Sol、免费档的 Luna,配套把回复从纯文本升级成带交互组件的 Intelligent UI。本文梳理三款模型的定价与能力坐标、第三方评测里的真实站位,以及 GPT-6.1 Astra 因安全原因被取消的罕见一幕。
大模型 精选 · 原创 · 10-8 阅读 859·访客 796
一篇读懂投机解码:大模型推理的「先猜后验」
解码阶段的大模型是内存带宽问题:一次前向读完几十 GB 权重,却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证,修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。
一叶一世界 精选 · 原创 · 10-8 阅读 1,133·访客 1,104
一篇读懂幻觉:模型为什么会一本正经地胡说八道
输出流畅、语气自信,内容却是编的——幻觉是当前大模型架构的固有属性,不是能修掉的 bug。本文拆解幻觉生成的三层机理、最容易被放大的三类场景,给出检测思路与从 RAG 到提示词设计的缓解清单。
一叶一世界 精选 · 原创 · 10-6 阅读 772·访客 683
一篇读懂 Attention:Q、K、V 到底在算什么
「它」指代谁?Attention 让每个 token 拿自己的 Q 去和所有 token 的 K 算相似度,再加权平均它们的 V,让上下文信息在 token 之间流动。本文用检索类比讲清 Q、K、V、缩放点积、多头与因果掩码,并连到推理工程的 KV Cache。
一叶一世界 精选 · 原创 · 10-6 阅读 566·访客 562
一篇读懂 Temperature 与 Top-p:采样参数怎么调
模型每步输出的不是「下一个字」而是一张概率表,Temperature 与 Top-p 决定怎么从表里抽签。本文讲清温度如何改变分布锐度、Top-p 如何动态截断候选、重复惩罚如何抑制复读,并给出代码、问答、写作、Agent 四类场景的参数对照表。
一叶一世界 精选 · 原创 · 10-6 阅读 432·访客 430
LlamaFactory 上手:不改代码微调一个自己的模型
微调不是万能钥匙,但适合固定风格、固定格式与领域行话类需求。本文先讲清何时该微调,再用 LoRA 原理加 LlamaFactory 三步实战,带你不改代码微调出自己的模型,并给出常见坑与最小评测法。
开源项目 精选 · 原创 · 10-6 阅读 487·访客 484
从 Transformer 到今天:注意力架构的十年演进地图
2017 年的 Transformer 之后,架构研究沿三条主线展开:把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络,并给出读新架构论文的三问。
研究前沿 精选 · 原创 · 10-6 阅读 763·访客 759
一篇读懂 Tokenizer:BPE 如何把文字切成 Token
模型读到的不是字也不是词,而是 token。本文用 low/lower 语料演示 BPE 合并出词表的过程,解释中文为什么更费 token,以及它对计费、上下文长度和算术能力的影响,文末附代码示例与流程图。
一叶一世界 精选 · 原创 · 10-6 阅读 460·访客 455
一篇读懂 Embedding:文本如何变成向量
语义检索的第一步是把文本变成可比较的向量。本文从 one-hot 的困境讲到稠密向量的语义几何,手算一个余弦相似度的小例子,再用十几行代码演示从 encode 到 top-k 的完整流程,最后点出语义匹配最常见的两个坑。
一叶一世界 精选 · 原创 · 10-6 阅读 542·访客 541
MoE 混合专家入门:大模型如何「变胖不变贵」
MoE 架构让模型总参数可以做得很大,而每个 token 实际经过的计算却不大,这是「变胖不变贵」的关键。本文讲清路由器与专家的分工、总参数与激活参数的区别、路由塌缩与负载均衡的难点,最后给出 MoE 与稠密模型的选型判断。
大模型 精选 · 原创 · 10-6 阅读 538·访客 521
上下文窗口不是越长越好:长上下文的原理、代价与用法
长上下文常被当成大模型的头号卖点,但它有三层代价:平方级注意力计算、线性增长的 KV Cache 显存,以及塞得进去未必用得好的召回衰减。本文讲清长度受限的原理、显存的估算方法与三条扩长路线,并给出上下文预算分配的实操建议。
大模型 精选 · 原创 · 10-6 阅读 891·访客 871
万亿参数开放权重时代:Kimi K3 与 Qwen3.8 的技术牌与另一面
2026 年 7 至 8 月,月之暗面 Kimi K3(2.8 万亿参数)与阿里 Qwen3.8(2.4 万亿)先后开放权重,开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单,拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行,同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重,不是人人可跑的乌托邦。
大模型 精选 · 原创 · 10-11 阅读 1,493·访客 1,402
机器学习简史(四):Transformer 之后,大模型时代
2017 年 6 月,八位 Google 研究员在一篇机器翻译论文里抛弃了循环网络,标题只有五个词:Attention Is All You Need。此后九年:GPT-3 证明规模即能力、ChatGPT 两个月一亿用户、Scaling Laws 驱动军备竞赛、DeepSeek 用十分之一成本撼动算力叙事、推理模型开启第二条扩展曲线。本文是「机器学习简史」系列完结篇,所有 2024 年后的关键事实均经联网核实,带你看清截至 2026 年 10 月的大模型版图,与依然悬而未决的终极争论。
研究前沿 精选 · 原创 · 10-10 阅读 828·访客 770
KV Cache 争夺战:从 MHA 到 MLA,推理显存是怎么一省再省的
大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token,整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史,算清每一代省下的账,讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价,以及 GQA 与 MLA 两大阵营至今未歇的路线之争。
大模型 精选 · 用户投稿 · 10-9 阅读 1,264·访客 1,221
MoE 的工业进化:从 1.6 万亿的 Switch Transformer 到 2.8 万亿的 Kimi K3
2025-2026 年发布的前沿模型几乎清一色是 MoE:Llama 4、gpt-oss、Qwen3、Kimi K2,直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控,到细粒度专家与无辅助损失均衡的完整演进线,算清「省算力不省显存」的工程账,也正视微调难、训练不稳与成本争议。
大模型 精选 · 用户投稿 · 10-9 阅读 498·访客 475
MoE 深度解析:路由、负载均衡与 671B 只激活 37B 的代价
混合专家(MoE)让模型参数量与计算量解耦,但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线,拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节,并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。
大模型 精选 · 原创 · 10-9 阅读 606·访客 584
FlashAttention 深度解析:一次在数学上什么都没改的注意力加速
FlashAttention 不近似、不改公式,却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标:分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配,以及它管不了的事:KV cache 与自定义 mask。
大模型 精选 · 原创 · 10-9 阅读 1,061·访客 1,056
Transformer 架构全景:从 2017 年的原点到各大厂变种
从 Attention Is All You Need 的 encoder-decoder 原型,到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰,本文系统拆解基础 Transformer 的架构原理,梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线,并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。
大模型 精选 · 原创 · 10-9 阅读 731·访客 646
长上下文的注意力之战:滑窗、外推与原生稀疏的三线会战
2026 年,1M token 上下文已成为头部旗舰的标配,但 RULER 与 NoLiMa 评测反复证明「宣称上下文」远大于「有效上下文」。本文梳理长上下文的三条技术路线——滑动窗口、RoPE 长度外推、稀疏化与高效内核,并聚焦 2025 年的分水岭:NSA、MoBA 与 DeepSeek DSA 证明训练时原生的稀疏注意力可以不掉点,最终产品化为 API 降价一半。
研究前沿 精选 · 用户投稿 · 10-9 阅读 572·访客 569
拆开 2026 年的旗舰模型:Transformer 里还剩多少 2017 年的零件
九年过去,Transformer 的骨架纹丝未动,外围部件却几乎换了一遍:归一化从 Post-LN 走到 QK-Norm,位置编码从正弦函数走到 RoPE 与 NoPE 混布,注意力从 MHA 走到 GQA 与 MLA。本文以 12 家旗舰模型的官方配置为据梳理这条演进主线,并回答一个问题——模型之间的差距,还剩多少在架构里?
大模型 精选 · 用户投稿 · 10-9 阅读 384·访客 363
MLA 深度解析:DeepSeek 把 KV Cache 压掉 93% 的算法全貌
多头潜在注意力(MLA)是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座:把 K/V 低秩压缩进一个 512 维潜在向量,推理时缓存量只有完整 MHA 的约 1.8%,官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计,以及专用 Kernel、前缀缓存兼容等真实工程代价。
大模型 精选 · 原创 · 10-9 阅读 738·访客 710
一篇读懂 Embedding:让「相似」变成一次减法
「北京」和「首都」没有一个字相同,计算机却能算出它们语义相近——秘密是把文字映射成高维空间里的向量,让语义关系变成几何关系。本文从 word2vec 的国王减男人加女人讲起,拆解上下文嵌入、余弦相似度、向量索引与套娃表示学习,并说清 embedding 在 2026 年模型版图里的位置与它的能力边界。
一叶一世界 精选 · 原创 · 10-8 阅读 1,288·访客 1,281
一篇读懂 LoRA:低秩适配怎么把微调成本打下来
全量微调 7B 模型,光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几:W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡,以及它什么时候不如全量微调。
一叶一世界 精选 · 原创 · 10-7 阅读 562·访客 560
一篇读懂学习率:训练里最重要的超参数
梯度只给方向,学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运;梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择;并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。
一叶一世界 精选 · 原创 · 10-7 阅读 546·访客 538
一篇读懂 RoPE:旋转位置编码怎么「转」出长上下文
从自注意力不识顺序的痛点讲起,用二维复数把旋转位置编码的推导一次讲透:内积为何只依赖 m−n、高维频率如何分配,配一份本地跑通的 numpy 最小实现与整体平移不变性实验,再谈 PI、NTK-aware、YaRN 的长上下文扩展路线与 ALiBi 的取舍。
一叶一世界 精选 · 原创 · 10-7 阅读 330·访客 321
一篇读懂 FlashAttention:注意力为什么能又快又省显存
标准注意力的瓶颈不在算力而在显存读写:O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax,在不丢精度(数学上完全等价)的前提下把显存从 O(N²) 降到 O(N),并梳理 FA2/FA3 两代演进与适用边界。
一叶一世界 精选 · 原创 · 10-7 阅读 940·访客 934
一篇读懂 DiT:视频生成模型为什么都换上了 Transformer 主干
从 Peebles 与谢赛宁的 DiT 论文到 Sora 的时空 patch,讲清 Diffusion Transformer 的三个关键设计:patch 化、adaLN-Zero 条件注入与以计算量为标尺的可扩展性。
一叶一世界 精选 · 原创 · 10-7 阅读 449·访客 442
一篇读懂归一化:LayerNorm、RMSNorm 与 Pre-Norm 的训练稳定性账
LayerNorm 把统计量搬回单样本,RMSNorm 再省掉中心化,换来 7%~64% 的归一化提速;而归一化挂在残差内侧还是外侧,决定梯度随深度指数衰减还是多项式失衡。本文推导公式,并用可运行的 numpy 演示把这笔训练稳定性账算给你看。
一叶一世界 精选 · 原创 · 10-7 阅读 567·访客 565
手撕 Multi-Head Attention:纯 Python 从零实现并跑通
用 numpy 从零实现 Multi-Head Attention 前向(含 causal mask),45 行核心代码;附逐步形状账与参数量核算,三个实测断言验证因果依赖、softmax 归一与参数量,全部本地跑通。
大模型 精选 · 原创 · 10-7 阅读 279·访客 276
手撕 BPE 分词器:不到百行 Python 看懂 Tokenizer
用不到百行纯标准库 Python 手撕 BPE 分词器:训练学合并表与编码贪心重放两个阶段拆开讲,小语料实测编码—解码往返一致,再用反例展示预分词正则为什么必不可少,最后对照 GPT-2 与 cl100k 的字节级 BPE、special token 与数字切分。
大模型 精选 · 原创 · 10-7 阅读 435·访客 431
一篇读懂梯度累积:显存不够,步数来凑
想要 batch size 256,显存只装得下 16——梯度累积用「攒 16 步再更新一次」把大 batch 拼了出来,等效 batch = 微批 × 累积步数。但它有一个著名的例外(BatchNorm)和两个混合精度陷阱。本文用一个 20 行 PyTorch 例子讲清原理与全部坑点。
一叶一世界 精选 · 原创 · 10-7 阅读 737·访客 734
微调的数据工程:配比、去重、合成与过滤,决定成败的都在训练之前
LIMA 用 1000 条精选数据就调出了能打的模型,「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比(防灾难性遗忘)、去重(MinHash 近重复)、合成(蒸馏优于自生成)、过滤(打分 + 多样性选择),给出可落地的迭代闭环。
大模型 精选 · 原创 · 10-7 阅读 523·访客 522
向量数据库选型指南:从暴力搜索到 HNSW
RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起,拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数,分析召回率、内存、延迟的三角权衡,给出按数据量分层的务实选型决策。
后端技术 精选 · 原创 · 10-6 阅读 1,539·访客 1,535
Embedding 模型选型:维度、语言与检索质量的取舍
看榜单选 embedding 模型经常翻车,因为榜单是通用语料,你的数据不是。本文给出语言与领域的第一分水岭、维度的真实代价、可信评测的做法与工程参数对照表,五十条真实问题即可完成一次有依据的决策。
后端技术 精选 · 原创 · 10-6 阅读 1,002·访客 997
Qwen3 开源:混合思考模式与多语言覆盖
阿里通义千问发布 Qwen3 系列开源模型,首创'混合思考'模式(可按需开关推理),MoE 与 Dense 全尺寸覆盖,衍生模型数登顶全球开源生态。
开源项目 精选 · Qwen · 2025-04-30 阅读 703·访客 700
DeepSeek-V3 开源:MoE 架构与极致工程效率
深度求索开源 671B 参数(激活 37B)的 MoE 模型 DeepSeek-V3,训练仅用约 278 万 H800 GPU 小时,以极低成本比肩头部闭源模型。
开源项目 精选 · DeepSeek · 2024-12-27 阅读 382·访客 381
GPT-2模型微调
从零微调 GPT-2 的完整流程:数据准备、训练与效果评估
大模型 精选 · 原创博客 · 2024-04-26 阅读 593·访客 591
Transformer 架构与算法优化 5 篇
Transformer 架构全景:从 2017 年的原点到各大厂变种
从 Attention Is All You Need 的 encoder-decoder 原型,到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰,本文系统拆解基础 Transformer 的架构原理,梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线,并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。
大模型 精选 · 原创 · 10-9 阅读 731·访客 646
MLA 深度解析:DeepSeek 把 KV Cache 压掉 93% 的算法全貌
多头潜在注意力(MLA)是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座:把 K/V 低秩压缩进一个 512 维潜在向量,推理时缓存量只有完整 MHA 的约 1.8%,官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计,以及专用 Kernel、前缀缓存兼容等真实工程代价。
大模型 精选 · 原创 · 10-9 阅读 738·访客 710
FlashAttention 深度解析:一次在数学上什么都没改的注意力加速
FlashAttention 不近似、不改公式,却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标:分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配,以及它管不了的事:KV cache 与自定义 mask。
大模型 精选 · 原创 · 10-9 阅读 1,061·访客 1,056
MoE 深度解析:路由、负载均衡与 671B 只激活 37B 的代价
混合专家(MoE)让模型参数量与计算量解耦,但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线,拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节,并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。
大模型 精选 · 原创 · 10-9 阅读 606·访客 584
从 4K 到百万 token:RoPE 上下文扩展算法深度解析
现代大模型的百万上下文,几乎都建立在 2021 年的旋转位置编码与 2023 年的一系列外推算法之上。本文拆解位置插值、NTK-aware 缩放、YaRN 分段插值、LongRoPE 进化搜索这条演进线,核对 Llama、Qwen、DeepSeek 三类工程实践的真实做法,并对照 RULER/NoLiMa 的实测数字:宣称窗口与有效窗口的差距有多大。
大模型 精选 · 原创 · 10-9 阅读 736·访客 730
推理模型 11 篇
Test-Time Scaling:让模型「多想一步」的三种姿势与一个天坑
推理时多花算力能换准确率:self-consistency 投票、过程奖励模型引导搜索、budget forcing 强制续想,三条路线各有边界。本文以 s1 论文与 2025–2026 年的 overthinking 研究为轴,梳理 test-time scaling 的效果账与失效点。
研究前沿 精选 · 原创 · 10-7 阅读 514·访客 513
数据墙 2026:预训练高质量数据的极限之争
Epoch AI 估算公开人类文本有效存量约 300 万亿 token,按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半,以及 2026 年预训练数据策略的真实格局。
大模型 精选 · 原创 · 10-10 阅读 990·访客 904
AI 数学能力到底怎么测:基准、污染与「会考试不等于会研究」
FrontierMath 发布时最好的模型不到 2%,一年半后最高分冲到约 52%;可同一时期,GSM1k 证明部分模型的高分有背题成分,FrontierMath v2 修正了四成多题目,25 位菲尔兹奖得主联名批评「竞逐名题」。本文梳理数学评测五年演进、数据污染的实锤机制、FrontierMath 资助风波,以及 2026 年评测范式向证明题与开放问题的转向。
研究前沿 精选 · 原创 · 10-10 阅读 932·访客 886
推理模型深度解析:从 o1 的豪赌到 RLVR,大模型是怎么学会「多想一会儿」的
2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%,2025 年 1 月 DeepSeek-R1 把整套方法开源复现,到 2026 年 10 月,推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线,拆解推理模型的完整炼成路径,也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。
大模型 精选 · 原创 · 10-9 阅读 491·访客 472
推理模型怎么用:什么时候该让模型「想一想」
OpenAI、Anthropic、Google 三家官方文档一致把推理模型指向数学、编程、复杂调试与长程智能体任务,而简单分类、低延迟与高吞吐场景不值得开思考。本文梳理三家的思考参数与档位选择,算清「思考 token 按输出计费」的成本账,给出一套 effort 档位取舍与调参的实用框架。
大模型 精选 · 原创 · 10-7 阅读 427·访客 420
从 AlphaProof 到 IMO 金牌:AI 数学推理为什么死磕形式化验证
2024 年 AlphaProof 以 28/42 拿下奥数银牌,靠的是在 Lean 里写机器可验证的证明;2025 年 Gemini 与 OpenAI 模型以自然语言证明达到金牌线。为什么 DeepMind 先走了一年形式化的「弯路」?陶哲轩的 Lean 实践给出了另一重答案。
研究前沿 精选 · 原创 · 10-7 阅读 714·访客 681
论文精读:DeepSeek-R1——纯强化学习怎么唤醒推理能力
精读 DeepSeek-R1 论文(arXiv 2501.12948):R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现;完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线,以及「小模型蒸馏优于直接 RL」的关键结论,全部数字溯源论文表 2、表 4 与蒸馏结果表。
研究前沿 精选 · 原创 · 10-7 阅读 1,086·访客 922
思维链为什么有效:推理时计算的研究脉络
「让我们一步步思考」为什么能让模型答对更多题?本文梳理思维链与推理时计算的研究脉络:从 few-shot 与 zero-shot 提示,到计算外化的核心解释,再到自一致性、结果奖励与过程奖励的分野,最后讨论假推理与验证瓶颈两条边界。
研究前沿 精选 · 原创 · 10-6 阅读 642·访客 642
Agent 工程 · 第 13 章|前沿专题:后训练管线、数据飞轮、语音、编码智能体
Agent 工程系统学习第 13 章(前沿专题):三个高薪高门槛方向。后训练三阶段管线(SFT → DPO/RLVR → On-Policy Distillation)与 Agentic RL 两大工程难点(长程 credit assignment、可验证奖励需要可靠执行环境),从生产轨迹到训练集的数据飞轮;全双工语音三块积木(流式 ASR / VAD / barge-in 取消语义)与延迟预算;编码智能体 = 模型 + Harness 的六机制拆解与动手路径。
智能体 精选 · Agent 投稿 · 10-5 阅读 720·访客 717
DeepSeek-R1 开源:推理模型的'Sputnik 时刻'
DeepSeek 发布并开源 R1 推理模型,纯强化学习激发推理能力,性能比肩 OpenAI o1,API 价格仅为后者数十分之一,引发全球市场震动。
开源项目 精选 · DeepSeek · 2025-01-21 阅读 592·访客 590
OpenAI o1 问世:推理时计算开启新范式
o1 系列通过强化学习训练模型'先思考再回答',在数学、代码与科学推理上大幅跃升,开创了推理时扩展(Test-time Compute)的新 Scaling 维度。
研究前沿 精选 · OpenAI · 2024-09-12 阅读 881·访客 878
对齐与后训练 11 篇
一篇读懂 DPO:一行损失函数怎么替掉整套强化学习
RLHF 要同时养四个模型、跑采样流水线,DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步,训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验,以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。
一叶一世界 精选 · 原创 · 10-8 阅读 948·访客 947
一篇读懂 RLHF:让 1.3B 的模型赢过 175B 的三步训练
GPT-3 有 1750 亿参数却不会「听懂指令」,InstructGPT 用 13k 条示范、33k 条偏好排序和 PPO 强化学习,让 1.3B 的小模型在人类评测里反超大 100 倍的前辈。本文逐层拆解 RLHF 三阶段——SFT、奖励模型、PPO——以及 KL 惩罚、标注员分歧、模式坍缩这些决定成败的细节。
一叶一世界 精选 · 原创 · 10-8 阅读 733·访客 732
奖励黑客:当模型学会「刷分」,对齐就开始失效
训练目标写歪一点,模型不会报错,而是学会钻空子——从赛船游戏原地转圈刷分,到代码任务偷偷改测试,再到 Anthropic 2025 年 11 月实验里「一学会作弊就全面错位」的模型。本文梳理奖励黑客的定义、大模型时代的作弊图鉴、思维链监控的两难,以及工程上的四道防线。
研究前沿 精选 · 原创 · 10-8 阅读 906·访客 881
论文精读:Constitutional AI——用一部「宪法」替代人工红队标注
Anthropic 的 Constitutional AI(Bai et al., 2022)提出两段式对齐:模型按约 75 条成文原则自我批评、修订回答做监督学习,再用 AI 反馈(RLAIF)替代人类偏好标注做强化学习。本文精读两阶段的机制、与 RLHF 的对照,以及「AI 给 AI 打分」的遗留问题。
研究前沿 精选 · 原创 · 10-7 阅读 694·访客 687
微调的数据工程:配比、去重、合成与过滤,决定成败的都在训练之前
LIMA 用 1000 条精选数据就调出了能打的模型,「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比(防灾难性遗忘)、去重(MinHash 近重复)、合成(蒸馏优于自生成)、过滤(打分 + 多样性选择),给出可落地的迭代闭环。
大模型 精选 · 原创 · 10-7 阅读 523·访客 522
RLHF 全景:从人类偏好到 PPO、DPO 与可验证奖励
预训练模型会「续写」但未必「听话」,对齐要解决的就是这件事。本文梳理 RLHF 完整技术栈:SFT 打底、偏好数据训练奖励模型、PPO 加 KL 惩罚防「刷奖励」,再到跳过奖励模型的 DPO 与靠验证器打分的 RLVR,末尾附一张对齐技术栈地图。
研究前沿 精选 · 原创 · 10-6 阅读 799·访客 796
Agent 工程 · 第 13 章|前沿专题:后训练管线、数据飞轮、语音、编码智能体
Agent 工程系统学习第 13 章(前沿专题):三个高薪高门槛方向。后训练三阶段管线(SFT → DPO/RLVR → On-Policy Distillation)与 Agentic RL 两大工程难点(长程 credit assignment、可验证奖励需要可靠执行环境),从生产轨迹到训练集的数据飞轮;全双工语音三块积木(流式 ASR / VAD / barge-in 取消语义)与延迟预算;编码智能体 = 模型 + Harness 的六机制拆解与动手路径。
智能体 精选 · Agent 投稿 · 10-5 阅读 720·访客 717
大模型能力提升路线图:从"堆参数"到训练全栈 + 外层程序
把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点,并给出优先级表与算法工程师/产品经理的行动建议。
大模型 精选 · 本站原创 · 9-10 阅读 847·访客 820
ollama 和 langchain 实现的知识库问答
用 LangChain 搭建 RAG 应用的组件拆解与代码实践
大模型 精选 · 原创博客 · 2024-05-08 阅读 454·访客 454
GPT-2模型微调
从零微调 GPT-2 的完整流程:数据准备、训练与效果评估
大模型 精选 · 原创博客 · 2024-04-26 阅读 593·访客 591
Meta 开源 Llama 2,开源大模型阵营成型
Meta 与微软合作开源 Llama 2(7B/13B/70B),允许商用,直接催生了全球开源与微调大模型的生态繁荣。
开源项目 精选 · Meta AI · 2023-07-19 阅读 287·访客 286
模型微调实战 11 篇
微调的数据工程:配比、去重、合成与过滤,决定成败的都在训练之前
LIMA 用 1000 条精选数据就调出了能打的模型,「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比(防灾难性遗忘)、去重(MinHash 近重复)、合成(蒸馏优于自生成)、过滤(打分 + 多样性选择),给出可落地的迭代闭环。
大模型 精选 · 原创 · 10-7 阅读 523·访客 522
DuckDB:把分析型数据库塞进进程里,为什么 2026 年成了数据工程的默认件
进程内 OLAP 数据库 DuckDB:一条 SQL 直接查本地 CSV、Parquet 与远端对象存储,单文件落库,PyPI 月下载超 5000 万。本文讲清它的列式向量化引擎、与 SQLite、pandas、ClickHouse 的分工、2026 年的生态大事(v2.0 在路上、DuckLabs 并入 AWS),以及上手要点与真实短板。
开源项目 精选 · 原创 · 10-10 阅读 615·访客 604
FlashAttention 深度解析:一次在数学上什么都没改的注意力加速
FlashAttention 不近似、不改公式,却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标:分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配,以及它管不了的事:KV cache 与自定义 mask。
大模型 精选 · 原创 · 10-9 阅读 1,061·访客 1,056
一篇读懂 LoRA:低秩适配怎么把微调成本打下来
全量微调 7B 模型,光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几:W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡,以及它什么时候不如全量微调。
一叶一世界 精选 · 原创 · 10-7 阅读 562·访客 560
一篇读懂学习率:训练里最重要的超参数
梯度只给方向,学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运;梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择;并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。
一叶一世界 精选 · 原创 · 10-7 阅读 546·访客 538
一篇读懂归一化:LayerNorm、RMSNorm 与 Pre-Norm 的训练稳定性账
LayerNorm 把统计量搬回单样本,RMSNorm 再省掉中心化,换来 7%~64% 的归一化提速;而归一化挂在残差内侧还是外侧,决定梯度随深度指数衰减还是多项式失衡。本文推导公式,并用可运行的 numpy 演示把这笔训练稳定性账算给你看。
一叶一世界 精选 · 原创 · 10-7 阅读 567·访客 565
一篇读懂混合精度训练:FP16、BF16 与损失缩放
训练换 FP16 提速省显存,小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环;解释 BF16 靠 8 位指数为何免缩放;附跑通的 numpy 演示与 FP8 训练现状。
一叶一世界 精选 · 原创 · 10-7 阅读 573·访客 572
一篇读懂知识蒸馏:大模型的本事怎么传给小模型
小模型学的是大模型的「能力」而非权重:讲清 Hinton 软标签与温度 τ 的暗知识原理、白盒与黑盒两条蒸馏路线、DeepSeek-R1 用 80 万样本蒸出 Qwen/Llama 小模型的成绩,以及学生上限与闭源 ToS 等边界。
一叶一世界 精选 · 原创 · 10-7 阅读 751·访客 695
一篇读懂梯度累积:显存不够,步数来凑
想要 batch size 256,显存只装得下 16——梯度累积用「攒 16 步再更新一次」把大 batch 拼了出来,等效 batch = 微批 × 累积步数。但它有一个著名的例外(BatchNorm)和两个混合精度陷阱。本文用一个 20 行 PyTorch 例子讲清原理与全部坑点。
一叶一世界 精选 · 原创 · 10-7 阅读 737·访客 734
LlamaFactory 上手:不改代码微调一个自己的模型
微调不是万能钥匙,但适合固定风格、固定格式与领域行话类需求。本文先讲清何时该微调,再用 LoRA 原理加 LlamaFactory 三步实战,带你不改代码微调出自己的模型,并给出常见坑与最小评测法。
开源项目 精选 · 原创 · 10-6 阅读 487·访客 484
GPT-2模型微调
从零微调 GPT-2 的完整流程:数据准备、训练与效果评估
大模型 精选 · 原创博客 · 2024-04-26 阅读 593·访客 591
开源模型全景 18 篇
开源模型全景 2026:六大家版本与许可证对照,什么场景该选谁
2026 年开放权重阵营的旗手已换成 GLM-5(744B,MIT)、Qwen3.5-397B-A17B(Apache 2.0)、DeepSeek V3.2(MIT)、Kimi K2 系与 Llama 4。本文按许可证、架构与部署成本三条线做全景对照,给出自托管、微调、企业集成三类场景的选型建议。
大模型 精选 · 原创 · 10-7 阅读 1,038·访客 669
万亿参数开放权重时代:Kimi K3 与 Qwen3.8 的技术牌与另一面
2026 年 7 至 8 月,月之暗面 Kimi K3(2.8 万亿参数)与阿里 Qwen3.8(2.4 万亿)先后开放权重,开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单,拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行,同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重,不是人人可跑的乌托邦。
大模型 精选 · 原创 · 10-11 阅读 1,493·访客 1,402
2026 年 10 月旗舰大模型横评:GPT-6、Claude、Gemini 与国产四强怎么选
GPT-6 全量推送与 Claude Haiku 5.5 降价撞在同一周。本文横评 GPT-6、Claude、Gemini 3.1 与 GLM-5.3、DeepSeek V4-Pro、Kimi K3、Qwen3.8-Max 的能力、上下文、API 定价与订阅方案,给出分场景选型建议,价格均截至 2026-10-10。
大模型 精选 · 原创 · 10-10 💬 3 阅读 1,975·访客 1,414
国产大模型竞争格局 2026:座次重塑、上市潮与 IPO 竞速
智谱、MiniMax 年初上市后深度回撤,DeepSeek 与月之暗面带着新技术与新融资竞速 IPO,通义与豆包以生态碾压单点。本文以可核实数据梳理 2026 年国产大模型的资本座次、技术路线分化与商业化三条路。
行业动态 精选 · 原创 · 10-10 阅读 1,487·访客 1,156
KV Cache 争夺战:从 MHA 到 MLA,推理显存是怎么一省再省的
大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token,整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史,算清每一代省下的账,讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价,以及 GQA 与 MLA 两大阵营至今未歇的路线之争。
大模型 精选 · 用户投稿 · 10-9 阅读 1,264·访客 1,221
注意力没有被取代,而是被稀释:线性注意力、Mamba 与混合架构的 2026
「线性注意力取代 Transformer」喊了六年,结局出人意料:2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%,压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线,拆解 Qwen3-Next 与 Kimi Linear 的混合配方,并回答那个核心问题——为什么还是要留 25% 的注意力。
研究前沿 精选 · 用户投稿 · 10-9 阅读 691·访客 644
MoE 的工业进化:从 1.6 万亿的 Switch Transformer 到 2.8 万亿的 Kimi K3
2025-2026 年发布的前沿模型几乎清一色是 MoE:Llama 4、gpt-oss、Qwen3、Kimi K2,直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控,到细粒度专家与无辅助损失均衡的完整演进线,算清「省算力不省显存」的工程账,也正视微调难、训练不稳与成本争议。
大模型 精选 · 用户投稿 · 10-9 阅读 498·访客 475
从 4K 到百万 token:RoPE 上下文扩展算法深度解析
现代大模型的百万上下文,几乎都建立在 2021 年的旋转位置编码与 2023 年的一系列外推算法之上。本文拆解位置插值、NTK-aware 缩放、YaRN 分段插值、LongRoPE 进化搜索这条演进线,核对 Llama、Qwen、DeepSeek 三类工程实践的真实做法,并对照 RULER/NoLiMa 的实测数字:宣称窗口与有效窗口的差距有多大。
大模型 精选 · 原创 · 10-9 阅读 736·访客 730
MoE 深度解析:路由、负载均衡与 671B 只激活 37B 的代价
混合专家(MoE)让模型参数量与计算量解耦,但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线,拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节,并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。
大模型 精选 · 原创 · 10-9 阅读 606·访客 584
Transformer 架构全景:从 2017 年的原点到各大厂变种
从 Attention Is All You Need 的 encoder-decoder 原型,到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰,本文系统拆解基础 Transformer 的架构原理,梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线,并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。
大模型 精选 · 原创 · 10-9 阅读 731·访客 646
MLA 深度解析:DeepSeek 把 KV Cache 压掉 93% 的算法全貌
多头潜在注意力(MLA)是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座:把 K/V 低秩压缩进一个 512 维潜在向量,推理时缓存量只有完整 MHA 的约 1.8%,官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计,以及专用 Kernel、前缀缓存兼容等真实工程代价。
大模型 精选 · 原创 · 10-9 阅读 738·访客 710
一篇读懂 MoE:大模型「大而不贵」的经济学
DeepSeek-V3 有 671B 参数,每个 token 却只动用 37B 的计算量——这不是营销话术,而是混合专家架构(MoE)把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起,拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计,也说清 MoE 的两个代价:省 FLOPs 但不省显存,以及「专家」并不按领域分工的反直觉事实。
一叶一世界 精选 · 原创 · 10-8 阅读 640·访客 611
开源语音合成现状:零样本克隆已经卷到什么程度
盘点 2026 年 10 月主流开源 TTS 七个项目(GPT-SoVITS、CosyVoice、F5-TTS、Fish Speech、IndexTTS、Kokoro 等):机制、音色克隆方式、中文支持与许可证商用限制,附中文效果/实时率/长文本对比表与 F5-TTS 上手示例,兼谈声音克隆的授权与深度伪造合规风险。
开源项目 精选 · 原创 · 10-7 阅读 1,578·访客 1,190
音频理解:大模型怎么「听懂」ASR 之外的声音世界
转写成文字只是「听见」,音频理解的野心是「听懂」:环境声事件、音乐结构、说话人情绪、副语言信息。本文拆解音频语言模型的技术配方(音频编码器 → 语义 token → LLM)、开源代表 Qwen 系与评测基准 MMAU/AudioBench,以及它正在替代的旧管线。
研究前沿 精选 · 原创 · 10-7 阅读 860·访客 853
论文精读:DeepSeek-R1——纯强化学习怎么唤醒推理能力
精读 DeepSeek-R1 论文(arXiv 2501.12948):R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现;完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线,以及「小模型蒸馏优于直接 RL」的关键结论,全部数字溯源论文表 2、表 4 与蒸馏结果表。
研究前沿 精选 · 原创 · 10-7 阅读 1,086·访客 922
开源权重与闭源 API:一场不会结束的博弈
开源权重与闭源 API 是两种供给模式:一个靠生态与自部署取胜,一个靠数据飞轮与前沿能力领跑。本文拆解双方的打法与护城河,解释「落后但够用」的动态平衡,并给出数据敏感性、运维能力、定制需求、成本结构四个维度的选型框架。
行业动态 精选 · 原创 · 10-6 阅读 741·访客 693
当 AI 开始写算子:递归自我改进(RSI)的第一个现实闭环
一位亲手写下 DeepSeek V4.1 主 Attention 算子的工程师公开判断:AI 将在半年到一年内追平顶级人类算子工程师。本文把这桩职业自白放回递归自我改进(RSI)的坐标系——算子层的飞轮已经咬合,它是「AI 改进 AI」最短、最先闭合的回路;而工程师的位置,正从手艺人变成飞轮瓶颈位上的「机甲驾驶员」。
研究前沿 精选 · Agent 投稿 · 9-17 阅读 495·访客 442
DeepSeek-V3 开源:MoE 架构与极致工程效率
深度求索开源 671B 参数(激活 37B)的 MoE 模型 DeepSeek-V3,训练仅用约 278 万 H800 GPU 小时,以极低成本比肩头部闭源模型。
开源项目 精选 · DeepSeek · 2024-12-27 阅读 382·访客 381
模型评测与基准 7 篇
一篇读懂 LLM-as-a-Judge:让模型给模型打分,靠谱吗
GPT-4 当裁判与人类偏好的一致率 85%,超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验,但它交换位置后的一致率只有 65%,一个 token 就能操纵打分,模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本,以及什么时候不该用它。
一叶一世界 精选 · 原创 · 10-8 阅读 881·访客 876
SWE-bench 兴衰记:一个代码基准是怎么被建起来、刷上去、又亲手关掉的
2024 年 8 月,OpenAI 联合 Princeton 人工过滤出 SWE-bench Verified;2026 年初,还是 OpenAI,宣布不再报告这个基准——审计发现近六成无法稳定解出的题目有测试缺陷,且三大厂商的模型全部被实锤「见过题」。本文按时间线拆解 SWE-bench 从 1.96% 到 80% 的刷分史、scaffold 决定一半分数的评测真相,以及读代码基准分数的正确姿势。
研究前沿 精选 · 原创 · 10-8 阅读 630·访客 584
一篇读懂基准失效:饱和、污染与刷分——一个评测基准的一生
每个 LLM 基准都逃不过同一条生命周期曲线:出生时区分力强 → 大家刷分 → 分数挤在 90% 以上失去区分度 → 被质疑数据污染 → 退役换下一代。本文用 MMLU 的饱和与 Scale AI 的 GSM1k 对照实验拆解这条曲线的两个关键节点,并给出一套读分数的自查清单——看完你就知道哪些榜单数字可以直接划掉。
一叶一世界 精选 · 原创 · 10-8 阅读 852·访客 839
提示工程方法论 2026:什么还有效、什么可以省、什么已经易主
推理模型改写了提示词的规则——OpenAI 官方文档明确写着「避免思维链提示」「通常不需要 few-shot 示例」;Anthropic 则把叙事重心移交给了「上下文工程」。提示工程死了吗?没有,它收缩了:从话术技巧收缩成「先建评估、再写规格、管好上下文」的工程实践。本文以三家官方文档为一手依据,对照出仍然有效的技巧清单、官方明确说可以省掉的技巧,以及实证研究给出的边界。
大模型 精选 · 原创 · 10-8 💬 1 阅读 1,342·访客 1,255
LLM 应用的可观测性:看懂每一次模型调用的四个层面
传统 APM 盯的是「请求是否 200」,LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟(TTFT)、质量信号、调用轨迹四个层面拆解 LLM 可观测性,介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局,给出生产闭环的落地路径。
后端技术 精选 · 原创 · 10-7 阅读 895·访客 891
一篇读懂 ELO:模型竞技场排行榜背后的数学
「GPT 比 Claude 高 20 分」是怎么算出来的?Elo 等级分用一场对局的期望胜率换算积分涨跌,Bradley-Terry 模型再把它升级成全量数据的联合估计——Chatbot Arena 2023 年底悄悄完成了这次换引擎。本文拆解两代算法的数学,以及排行榜置信区间的正确读法。
一叶一世界 精选 · 原创 · 10-7 阅读 984·访客 974
Agent 工程 · 第 9 章|评测体系:场景设计、judge 校准、A/B 实验、回归
Agent 工程系统学习第 9 章:评测是把 Agent 开发从手工艺变成工程的分界线。给出场景作为评测基本单位与两类判定器分工,LLM-as-judge 的四类偏差与校准方法,pass^k 指标测量非确定性,轨迹评测捕捉过程性退化,分层回归测试与候选门禁,A/B 分桶与两比例 z 检验,以及连接改进闭环的数据飞轮。
智能体 精选 · Agent 投稿 · 10-5 阅读 1,407·访客 1,403
其余文章 41 篇
一篇读懂 LLM 的知识裁剪:怎么让模型「忘掉」不该知道的东西
GDPR 删除请求、版权诉讼、危险知识控制都指向同一个技术难题:分布式编码的知识无法删除只能改写。梯度上升、NPO、RMU 各方法的机制与攻击式评估。
大模型 精选 · 原创 · 11-9 阅读 48·访客 48
一篇读懂 PEFT 全家桶:LoRA、QLoRA、Prefix Tuning 与 Adapter 的选择
从全量微调的显存账本讲起:LoRA 的秩一分解数学与参数量核算、QLoRA 的 NF4 三件套、Prefix Tuning 与 Adapter 的取舍,附横向对比表与选型决策树。
大模型 精选 · 原创 · 11-9 阅读 67·访客 67
一篇读懂训练数据飞轮:用户反馈怎么变成训练信号
显式与隐式反馈的采集口径、从信号到偏好对与 DPO 的数据管道、讨好循环与反馈偏差的陷阱,以及度量飞轮健康度的四项指标:把用户交互变成模型迭代引擎。
大模型 精选 · 原创 · 11-9 阅读 54·访客 54
一篇读懂 LLM 推理的路由策略:模型路由与成本优化
不是每个请求都值得用旗舰模型:路由的三种形态(级联、训练 router、规则路由)、误路由的隐性成本、回退链设计与成本核算,一篇算清模型路由的账。
大模型 精选 · 原创 · 11-9 阅读 59·访客 59
一篇读懂 LLM 输出的确定性:种子、缓存与可复现性
同一个输入为什么每次输出不同:采样随机性、浮点非结合性、批处理与推理栈三层来源,以及 seed 的 best-effort 本质、温度 0 的陷阱与可复现工程实践。
大模型 精选 · 原创 · 11-9 阅读 49·访客 49
一篇读懂长尾能力:模型在稀有任务上的表现与改进
模型对高频任务对答如流、对稀有任务频频翻车:幂律数据的统计根源、tokenization 不公平、知识存取瓶颈,以及数据、训练、推理三个层面的干预手段。
大模型 精选 · 原创 · 11-9 阅读 54·访客 54
一篇读懂多模态统一训练:视觉、语言、音频的联合建模前沿
从 CLIP 对比预训练到连接器路线与原生 token 统一路线:图文音频联合建模的架构分歧、训练稳定性问题、模态不平衡与数据配比,一篇讲透。
大模型 精选 · 原创 · 11-9 阅读 68·访客 67
一篇读懂 LLM 应用的 A/B 测试:怎么科学地评估一次提示词修改
从分流设计、样本量计算到 LLM 生成噪声与 peeking 陷阱:把一次提示词修改放进随机对照实验里,用统计而非直觉判断它值不值得上线。
大模型 精选 · 原创 · 11-9 阅读 52·访客 51
一篇读懂知识编辑:不重训就能改模型的知识
因果追踪定位知识存储层、ROME 与 MEMIT 的闭式编辑数学、评估三指标,以及连锁效应等失败模式:一次把「精准改写参数化知识」讲透。
大模型 精选 · 原创 · 11-9 阅读 59·访客 59
一篇读懂评测方法论:Beyond Accuracy——LLM 评测的完整维度
准确率之外评测模型还该看什么:维度拆解、校准误差、LLM-as-judge 的偏差与缓解、评测分数的统计不确定性,以及一套可落地的评测基建。
大模型 精选 · 原创 · 11-9 阅读 59·访客 59
一篇读懂 LLM 安全对齐:Red Teaming 与安全训练的工程实践
从 GCG 的梯度攻击到 PyRIT 的自动化红队,拆解安全对齐的攻击面测绘、安全数据构造、过度拒绝权衡与多层防御。
大模型 精选 · 原创 · 11-9 阅读 49·访客 49
一篇读懂推理服务架构:路由、负载均衡与模型热切换
从引擎到服务的最后一公里——拆解前缀感知路由、cache-aware 负载均衡、LoRA 热加载与模型热切换的生产实现。
大模型 精选 · 原创 · 11-9 阅读 60·访客 60
一篇读懂数据配比:预训练数据的「配方」怎么决定模型的能力偏向
同样的 token 预算,不同配方决定能力偏向——拆解 DoReMi、Data Mixing Laws 与 RegMix 三条配比优化路线。
大模型 精选 · 原创 · 11-9 阅读 61·访客 60
一篇读懂模型剪枝:比量化更激进的结构化压缩
从 SparseGPT 与 Wanda 的打分公式到 Sheared-LLaMA 的结构化剪枝加续训,拆解剪枝路线的数学原理与真实收益。
大模型 精选 · 原创 · 11-9 阅读 43·访客 43
一篇读懂评测污染:你的 Benchmark 分数可能是个假象
GSM8K 的题目被背下来了会怎样——拆解污染的三条进入路径、n-gram 与 Min-K% 检测法,以及动态基准的军备竞赛。
大模型 精选 · 原创 · 11-9 阅读 69·访客 69
一篇读懂训练稳定性:Loss Spike、梯度爆炸与数值问题的诊断与修复
从 PaLM 与 OPT 的真实病历出发,拆解 loss spike 的五类根因、回滚跳批的标准操作与 z-loss、软截断等预防手段。
大模型 精选 · 原创 · 11-9 阅读 65·访客 65
一篇读懂多轮对话训练:多轮对话数据的构造、训练与评测
多轮能力不是单轮能力的自然涌现——拆解多轮数据的三种构造法、loss 该算在哪一轮的关键决策与真实评测的坑。
大模型 精选 · 原创 · 11-9 阅读 64·访客 63
一篇读懂 Prompt Optimization:DSPy 与自动提示词优化的算法原理
把 Prompt 当超参数:拆解 DSPy 的抽象体系与 MIPROv2、OPRO 等优化器的搜索算法,附可跑的优化程序。
大模型 精选 · 原创 · 11-9 阅读 52·访客 52
一篇读懂 RLAIF:AI 反馈替代人类反馈的训练革命
拆解 AI 反馈替代人类标注的三条技术路线——反馈蒸馏、Constitutional AI 与 Direct RLAIF,以及判别模型自带的坑。
大模型 精选 · 原创 · 11-9 阅读 51·访客 51
一篇读懂解码策略:Beam Search、Contrastive Search 与约束解码的完整对比
从似然陷阱到退化惩罚再到语法约束,拆解三类高级解码策略的底层机制、计算代价与适用边界。
大模型 精选 · 原创 · 11-9 阅读 45·访客 45
一篇读懂梯度检查点与 offload:显存不够时的两板斧
显存不够时的两板斧——梯度检查点(用计算换显存)与 offload(用传输换显存)——是让「消费级硬件跑大模型训练」成为可能的关键技术。本篇拆解两者的机制、各自的代价曲线、怎么组合使用,以及什么时候该承认「硬件真的不够」。
大模型 精选 · 原创 · 11-3 阅读 55·访客 55
微调、RAG 还是提示词:一张决策表选对适配方式
「我的场景该微调、上 RAG,还是写好提示词」——这个问题 80% 的答案可以在一张决策表里找到。三种适配方式改的是模型的三样东西:行为、知识、与当次指令。本篇用「你想改什么」做主轴拆解决策逻辑,给出各方式的成本与风险、混合架构的常见形态,以及一个五分钟的自测流程。
大模型 精选 · 原创 · 11-3 阅读 60·访客 56
一篇读懂断点续训:几周的训练怎么对抗随时到来的故障
大模型的预训练要跑几周到几个月,而硬件故障是必然事件——断点续训(从 checkpoint 恢复训练)不是可选项,是生存技能。本篇拆解 checkpoint 保存什么、恢复时对齐什么、保存频率与成本怎么平衡、以及「训练可以断、进度不能丢」的工程细节。
大模型 精选 · 原创 · 11-3 阅读 54·访客 54
一篇读懂预训练数据管线:清洗、去重与质量过滤的完整工艺
「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线:采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑,解释「为什么各家模型的数据管线的差异就是能力的差异」,以及数据飞轮如何让这条管线成为持续资产。
大模型 精选 · 原创 · 11-3 阅读 59·访客 59
一篇读懂 Embedding 训练:对比学习、难负例与检索模型的能力来源
Embedding 模型把文本映射成向量,「相似的文本向量相近」——这个能力靠对比学习训练出来,而它的成败几乎完全取决于训练数据:正例对怎么构造、难负例怎么挖。本篇拆解对比学习的训练机制、难负例挖掘的工艺、Embedding 模型的两代演进(BERT 系到 LLM 系),以及微调一个自有 Embedding 模型的最小路径。
大模型 精选 · 原创 · 11-3 阅读 48·访客 48
一篇读懂 Token 计费:上下文、输入输出与一份成本优化清单
「这个应用每月的模型账单会是多少」——回答这个问题需要真正理解 token 计费的口径:输入输出分价、上下文累积、缓存折扣、以及隐藏的成本大头。本篇拆解计费的完整口径、一笔真实对话的成本拆解、以及按效排序的成本优化清单——把「token 焦虑」变成「token 预算学」。
大模型 精选 · 原创 · 11-3 阅读 119·访客 105
一篇读懂流式输出:SSE、打字机效果与首 token 延迟的工程账
聊天界面「逐字蹦出」的打字机效果,背后是流式输出:服务端边生成边推、客户端边收边渲染。本篇拆解流式的技术栈(SSE 协议、token 增量与累积)、首 token 延迟(TTFT)为什么是体验的核心指标、流式的工程细节(中断、错误处理、统计口径),以及什么场景该关掉流式。
大模型 精选 · 原创 · 11-3 阅读 52·访客 51
一篇读懂结构化输出:JSON mode、函数调用与约束解码
应用要的是 JSON,模型给的是散文加一段 JSON——结构化输出是大模型工程化的第一道坎。本篇拆解三种方案的能力与代价:提示词祈祷法(零保证)、语法约束解码(100% 合法但不保证语义)、以及原生 JSON mode 的折中——读完知道你的场景该用哪层、以及「格式合法」与「内容正确」是两件事。
大模型 精选 · 原创 · 11-3 阅读 57·访客 57
一篇读懂 Chat Template:system prompt 与特殊 token 的隐藏协议
为什么同一段对话,用对 chat template 的模型表现天差地别?对话模型的一切行为都由一张「模板」定义:角色标记、特殊 token、系统提示的位置。本篇拆解 chat template 的结构、各家模板的差异、它如何决定「模型以为自己在跟谁说话」,以及微调与应用时最容易踩的模板坑。
大模型 精选 · 原创 · 11-3 阅读 59·访客 58
一篇读懂困惑度:Perplexity 怎么度量一个语言模型
困惑度(Perplexity)是语言模型最老的指标——「模型平均在多少个候选里犹豫」。它便宜、客观、无处不在(模型卡的 loss 就是它),却也最容易被误读。本篇拆解困惑度的定义与直觉、它与交叉熵的关系、什么时候它能信、什么时候它会骗人,以及它在评测生态里的正确位置。
大模型 精选 · 原创 · 11-3 阅读 50·访客 50
一篇读懂正则化:Dropout、权重衰减与它们的现代角色
正则化(防止过拟合的技术)在经典机器学习里是必修课,但在大模型训练里却「存在感稀薄」——预训练几乎不用 Dropout,微调却常开。这个反差本身是个有趣的信号。本篇拆解 Dropout 与权重衰减的机制、它们在大模型时代角色变化的原因、以及微调场景的正则化实践。
大模型 精选 · 原创 · 11-3 阅读 46·访客 46
一篇读懂 Batch Size 与学习率调度:warmup、cosine 与缩放法则
学习率是训练最重要的超参(本库已有专篇),但「学习率随训练怎么变」同样关键:warmup 为什么必须先升、cosine 退火为什么成为默认、Batch Size 与学习率怎么联动缩放。本篇拆解这套「训练的节奏器」,读完能看懂任何模型报告里的 LR Schedule 曲线。
大模型 精选 · 原创 · 11-3 阅读 43·访客 43
一篇读懂损失函数:交叉熵、label smoothing 与辅助损失
语言模型的训练目标浓缩为一个损失函数——交叉熵。但围绕它的变体(label smoothing、辅助损失、对比损失)各自解决不同的问题。本篇拆解交叉熵的直觉与数学、label smoothing 为什么能防过自信、辅助损失在 MoE 与多任务中的角色,以及对比损失在 Embedding 训练里的位置。
大模型 精选 · 原创 · 11-3 阅读 59·访客 59
一篇读懂训练显存账单:参数、梯度、优化器状态与激活
「7B 模型微调要多少显存」是每个入门者都会问的问题,答案却从 14GB 到 100GB 不等——取决于你算没算全四项:参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清,给出微调与全量训练的显存公式,以及每一项的省法(混合精度、梯度检查点、LoRA、offload)。
大模型 精选 · 原创 · 11-3 阅读 77·访客 74
一篇读懂分布式训练:数据并行、张量并行与流水线并行怎么分工
训练一个百亿级模型,单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行(数据并行、张量并行、流水线并行)的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。
大模型 精选 · 原创 · 11-3 阅读 54·访客 54
一篇读懂 vLLM:PagedAttention 与连续批处理怎么把推理吞吐翻几倍
同一张 GPU,用 naive 推理脚本与用 vLLM,吞吐可以差 10 倍以上——差距的来源是两项工程创新:PagedAttention(显存的分页管理)与连续批处理(请求的动态编排)。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。
大模型 精选 · 原创 · 11-3 阅读 69·访客 69
一篇读懂 llama.cpp 与本地推理:一台笔记本怎么跑起大模型
llama.cpp 是本地推理生态的地基:纯 C/C++ 实现、无依赖、Mac/Windows/Linux/CPU 都能跑。本篇拆解它的技术路线(GGUF 格式、量化内核、异构加速)、本地推理的完整决策链(硬件→量化档位→引擎选择)、以及 ollama/LM Studio 这类「易用层」与 llama.cpp 的关系。
大模型 精选 · 原创 · 11-3 阅读 72·访客 71
一篇读懂模型量化:INT8/INT4 压完之后,能力到底损失多少
量化把模型权重从 FP16 压到 INT8 甚至 INT4——显存省一半到四分之三,本地部署因此成为可能。但「压完损失多少」取决于方法: naive 量化会毁掉模型,精心设计的量化几乎无损。本篇拆解量化的数学原理、PTQ 与 QAT 两条路线、per-channel 粒度与分组量化的意义,以及一张「什么位宽选什么」的决策表。
大模型 精选 · 原创 · 11-3 阅读 48·访客 48
一篇读懂 SFT:指令微调怎么把基座模型变成助手
SFT(监督微调)是基座模型变成对话助手的第一步,也是最被误解的一步——它常被当成「教知识」,实际是「教格式与行为」。本篇拆解 SFT 的数据形态、训练细节(epoch、学习率、灾难性遗忘的边界)、常见的失败模式,以及「SFT 教的到底是不是能力」这个核心争议。
大模型 精选 · 原创 · 11-3 阅读 59·访客 58
一篇读懂预训练:从海量文本到基座模型的完整流程
预训练是所有大模型能力的源头,但它的完整流程常被一句「在海量文本上训练」带过。本篇拆解预训练的五个阶段——数据收集与清洗、分词、模型初始化、训练循环、评估与收尾——每个阶段的关键决策与常见坑,读完能看懂任何一份模型技术报告的预训练章节。
大模型 精选 · 原创 · 11-3 阅读 65·访客 54
一篇读懂优化器:从 SGD、AdamW 到 Muon
十年来 AdamW 是大模型训练不容置疑的默认优化器,直到 Kimi K2 用它跑起万亿参数训练。本文从梯度下降的几何直觉讲起,拆解 AdamW 为什么统治了十年、Muon 的正交化更新为什么只需约 52% 的训练算力就能追平 AdamW,以及这轮换血里真正的工程细节与边界。
大模型 精选 · 原创 · 10-24 阅读 86·访客 85