把 Prompt 当超参数：拆解 DSPy 的抽象体系与 MIPROv2、OPRO 等优化器的搜索算法，附可跑的优化程序。

提示词不是玄学而是可测量变量：FormatSpread 的 76 点波动、指令模板不稳定性、贝叶斯机制解释、软提示与自动提示优化、注入攻击与工程规范。

「这条 SQL 为什么慢」是后端工程师的高频问题，答案往往藏在索引里：B+ 树的结构决定了索引的行为、覆盖索引可以避免回表、最左前缀原则决定了联合索引的可用性。本文讲清 MySQL 索引的原理与优化实践。

一次智能体响应的延迟由预填充、解码、工具执行与多轮串联构成，本文拆解延迟结构，梳理 prompt 缓存、并行化、语义缓存与推理侧加速四条优化路径，并给出延迟预算分配法。

Together AI 发布 Together Compiler，用 AI 智能体团队自动重写 GPU 代码，开源模型 24 小时内优化、吞吐最高提升 3.7 倍。

「这个应用每月的模型账单会是多少」——回答这个问题需要真正理解 token 计费的口径：输入输出分价、上下文累积、缓存折扣、以及隐藏的成本大头。本篇拆解计费的完整口径、一笔真实对话的成本拆解、以及按效排序的成本优化清单——把「token 焦虑」变成「token 预算学」。

大模型价格战的背后（本库《价格战》），站着一条被低估的产业链：推理优化产业——量化、编译器、KV 缓存优化、投机解码、专用推理引擎。它不训练模型，却决定了模型的交付成本，是「价格战能打多低」的真正决定者。本文画一张推理优化产业的地图，讲清每一格的手艺与玩家。

十年来 AdamW 是大模型训练不容置疑的默认优化器，直到 Kimi K2 用它跑起万亿参数训练。本文从梯度下降的几何直觉讲起，拆解 AdamW 为什么统治了十年、Muon 的正交化更新为什么只需约 52% 的训练算力就能追平 AdamW，以及这轮换血里真正的工程细节与边界。

B+ 树为读优化而生，LSM-Tree 为写优化而生——为什么 Kafka、Cassandra、TiKV、LevelDB 都选择 LSM？写放大、读放大、空间放大的三角权衡，以及 Compaction 的调优之道。

Heretic 用修饰器、评分器加 Optuna 优化器的三段式架构，在不做任何训练的情况下修改开放权重大模型的行为，v2.0 引入自研 ARA 任意秩消融算法与插件系统，社区已产出 8600 多个改后模型。

「7B 模型微调要多少显存」是每个入门者都会问的问题，答案却从 14GB 到 100GB 不等——取决于你算没算全四项：参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清，给出微调与全量训练的显存公式，以及每一项的省法（混合精度、梯度检查点、LoRA、offload）。

微软发布 Edge 开发者更新，新增软导航等性能指标、JS 自分析标记、WebMCP API 及 OpaqueRange API，帮助开发者优化网页应用性能并让 AI 智能体调用网页能力。

IT之家 9 月 15 日消息，苹果今日向 iPhone 和 iPad 用户推送了 iOS / iPadOS 27.0 更新（内部版本号：24A437）。 iOS 27 迎来多项性能优化，包括应用启动、显示照片、网络切换、AirDrop、硬…

在提示里放几个输入-输出示例，模型一次前向传播就把新任务干得像模像样——没有梯度更新，没有训练循环，这就是上下文学习（ICL）。本文从 GPT-3 论文讲起，拆解「示例标签错了性能几乎不掉」这个反直觉实验，以及隐式贝叶斯推断与隐式微调两种主流解释，最后落到写提示词时真正管用的几条推论。

不是每个请求都值得用旗舰模型：路由的三种形态（级联、训练 router、规则路由）、误路由的隐性成本、回退链设计与成本核算，一篇算清模型路由的账。

PostgreSQL 18 把沿用多年的读路径换成异步 I/O 子系统，复合索引拿到 skip scan，虚拟生成列与 uuidv7 补齐开发者体验，pg_upgrade 首次保留优化器统计。本文以官方 release notes 为准逐项解析，梳理升级实操与行为变化，给出可执行的升级建议。

传统 RAG 的体验是「等待—出结果」：检索完才生成、生成完才展示。流式 RAG 改变了这个节奏：检索与生成并行、结果逐步出现。本篇拆解流式 RAG 的架构模式（渐进式检索、流式生成与流式 UI）、延迟优化策略，以及「让用户在等待中看到进展」的体验设计。

大模型逐 token 生成，注意力却要看全部历史，KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算，给出 KV Cache 显存的估算公式并代入典型 7B 配置，解释长上下文为何是推理瓶颈，并列出三个优化方向。

物流业是 AI 的「隐形主场」——预测、路径、仓储机器人十年前就在用算法，大模型的加入改变的是最后一块拼图：与人的交互层。把三层改造讲清，物流业 AI 化的真实进度条就有了刻度。

从 WWDC26 初亮相，到 8 个 Beta 版一路“打怪升级”，iOS 27 终于在 9 月 15 日转正上岗了， 苹果在昨天向广大 iPhone 用户推送 iOS 27 正式版更新 。 历经 iOS 27 这几个 Beta 版体验下来…

研究者提出ProbabilityBench基准，通过显式定义数据生成过程，在同行评审、隐蔽信息传递和信用风险三个模拟文本域中解析计算出精确的类别概率与贝叶斯误差，从而可基于KL散度直接衡量模型报告概率的质量。

一千万条 768 维 float32 向量要吃 30GB 内存——规模一上来，向量存储就成了 RAG 最贵的一块。本文讲清三条压缩路线：标量量化降精度、PQ 降基数、二值化极限压缩，各自的原理、召回代价与「粗排压缩向量 + 精排原始向量」的标准补偿手法。

70B 模型 FP16 要 140 GB 显存，量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下，代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则，以及「量化伤推理」争议的实测边界。

Agent 工程系统学习第 12 章：把 Agent 规模化。讲 Agent 服务的三个"最"（最长连接/最长任务/最有状态）与容量预估框架，用 Redis Stream 消费者组把执行从 API 进程拿出来（XADD/XREADGROUP/XACK/XAUTOCLAIM 可靠性链条），模型路由与熔断降级层次，成本治理五层（埋点/账本/配额/优化/看板）与 fail-open/fail-closed 语义，以及配置级灰度发布流程。

数据库连接的建立涉及 TCP 三次握手、TLS 协商、MySQL 认证与会话初始化——高并发下每个请求都新建连接，数据库会被认证风暴打垮。连接池通过复用连接解决这个问题，但池的参数（大小、超时、空闲回收）设计不当反而成为瓶颈。本文讲清连接池的原理与调优。

RLHF 要同时养四个模型、跑采样流水线，DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步，训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验，以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。

拆解一次智能体任务的真实账单，分析智能体场景下 input 占比倒挂的消耗结构，给出缓存、路由、批处理三板斧的量化降本路径，并讨论订阅制定价为何容易击穿毛利。

几十 GB 的模型权重要在几百个节点上部署——模型分发是 LLM 时代新增的基础设施问题：下载慢、带宽贵、版本乱。本篇拆解模型分发的四种方案（直连下载、镜像仓库、P2P 分发与本地缓存）、冷启动优化的衔接、以及分发管线的工程纪律。

从 Bengio 2009 的经典提出，到 DoReMi 域权重优化、WSD 末段退火与 RL 训练的难度课程，梳理课程学习在深度学习与大模型中的实证进展与争议。

人类评审员看不懂模型的高深推理时，怎么判断它做得对不对？可扩展监督（Scalable Oversight）研究的就是这个「评估者与被评估者的能力倒挂」问题——辩论法、评估-优化、弱到强泛化，三条技术路线的竞赛。

检索回 10 篇文档塞进上下文——但其中 80% 的内容与问题无关。上下文压缩在「检索之后、生成之前」加一道减法：把检索结果的冗余删掉、把关键信息提出来。本篇拆解压缩的四种策略（抽取式压缩、摘要式压缩、选择性上下文、结构化压缩）与效果取舍。

一次 RAG 请求到底花多少钱？查询向量化几乎免费，检索只要几厘，生成环节却吃掉九成账单。本文把成本拆成一次性入库与每次请求两栏，给出各环节的量级估算方法与七个省钱杠杆，以及一条先砍生成、再调检索的平衡框架，帮你把预算花在真正影响账单的地方。

RadixAttention 用前缀树跨请求复用 KV Cache，是 SGLang 的招牌。本文讲机制差异，给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状，并对照 vLLM/Ollama 谈选型。

N 皇后是回溯与剪枝的巅峰示范：n×n 棋盘放 n 个皇后，任意两个不能同行同列同对角线。它的价值不在答案（解的数量没有闭式公式），而在「约束检查怎么做才快」「剪枝怎么把指数搜索树剪成可行规模」的完整示范。本文讲清位运算优化的棋盘、对角线的编码技巧与剪枝的力量。

N 皇后是回溯与剪枝的巅峰示范：n×n 棋盘放 n 个皇后，任意两个不能同行同列同对角线。它的价值不在答案（解的数量没有闭式公式），而在「约束检查怎么做才快」「剪枝怎么把指数搜索树剪成可行规模」的完整示范。本文讲清位运算优化的棋盘、对角线的编码技巧与剪枝的力量。

让 AI 改进 AI 是半个多世纪的旧梦，但 2026 年的落地方式出乎意料：不是模型改自己的权重，而是智能体改自己的「执行框架」。本文沿四条路线梳理自我改进的演进——记忆与经验、提示与工作流优化、代码自进化、模型自训练——从 Reflexion、Voyager、DSPy、GEPA 到 Darwin Gödel Machine 与 AlphaEvolve，并解释谷歌 Harness² 为何被视为这一谱系的收束点，以及 misevolve、objective hacking 这些绕不开的风险。

★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。

全量微调 7B 模型，光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几：W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡，以及它什么时候不如全量微调。

梯度只给方向，学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运；梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择；并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。

同样的 token 预算，不同配方决定能力偏向——拆解 DoReMi、Data Mixing Laws 与 RegMix 三条配比优化路线。

「大促要多少台机器？」——容量规划是每个架构师的必答题。从业务目标（PV/UV）到技术指标（QPS），从单机压测到资源推算，从余量设计到成本优化——容量规划是「把业务翻译成机器」的工程学。

分割等和子集是 01 背包的入门题：数组能否分成两个和相等的子集——转化为「能否从数组中选出和为 sum/2 的子集」——01 背包的「选或不选」、一维数组的倒序遍历、以及「可行性 DP」与「最优化 DP」的区别。

「RAG 还是微调」不是二选一——成熟的 AI 系统往往两者并用。RAG 管知识、微调管行为、提示词管指令。本篇拆解三种混合架构（微调+RAG、微调优化 RAG 组件、RAG 增强微调模型），以及每种的适用场景与工程要点。

位运算是最低级的语言也是最快的计算：AND/OR/XOR/移位六个操作符，撑起了权限系统、IP 子网、位图、布隆过滤器与无数性能优化。本篇拆解六个操作的语义与惯用法、用位存状态的设计模式、以及哪些位运算优化值得写、哪些是负优化。

「CUDA 护城河」被提了十年，它到底由什么构成？本篇从底层拆起：CUDA 是语言与运行时，cuDNN/cuBLAS 是优化库，NCCL 是通信库，TensorRT 是编译器——分层拆解每一层的角色，以及生态替代（ROCm/CANN）真实差距所在。

智能体产品的商业化正在试验三种定价哲学：按席位（卖工具）、按 token（卖算力）、按结果（卖产出）。定价不是财务细节，它决定了产品把优化压力放在哪、用户把信任放在哪。本篇观察三种模式的适用边界、各自的激励扭曲、以及「按结果收费」为什么是智能体区别于软件的定价新大陆。

不同路径是动态规划的「网格第一课」：机器人从左上角走到右下角，只能向右或向下，问有多少条路径。它把一维的 DP 转移搬到二维网格上，又因为转移的特殊性存在一行滚动、组合数学两种大幅优化。本文讲清网格 DP 的通用框架、滚动数组的二维版、以及那道组合数的惊喜。

不同路径是动态规划的「网格第一课」：机器人从左上角走到右下角，只能向右或向下，问有多少条路径。它把一维的 DP 转移搬到二维网格上，又因为转移的特殊性存在一行滚动、组合数学两种大幅优化。本文讲清网格 DP 的通用框架、滚动数组的二维版、以及那道组合数的惊喜。

打家劫舍是动态规划的「相邻约束」教科书：一排房子，不能偷相邻两家，求最大金额。它比爬楼梯多一层选择结构，比零钱兑换少一层维度，是理解「状态定义决定转移方程」的最佳样本。本文讲清它的状态设计、滚动数组优化、以及与子序列问题的深层联系。

线程池是多线程编程的基础设施：复用线程避免频繁创建销毁的开销，控制并发度防止资源耗尽。但线程池的参数设计（核心线程数、最大线程数、队列类型与长度、拒绝策略）是一门需要理解的学问——不是拍脑袋填数字。本文讲清线程池的参数体系与设计方法。