量化把模型权重从 FP16 压到 INT8 甚至 INT4——显存省一半到四分之三，本地部署因此成为可能。但「压完损失多少」取决于方法： naive 量化会毁掉模型，精心设计的量化几乎无损。本篇拆解量化的数学原理、PTQ 与 QAT 两条路线、per-channel 粒度与分组量化的意义，以及一张「什么位宽选什么」的决策表。

从 FP16 压到 INT4，体积与显存降到约四分之一，量化是大模型部署的标配。本文讲清量化原理、PTQ 与 QAT 两条路线、RTN/GPTQ/AWQ 的思想差异，以及按显存逐级下降的选型决策表。

长上下文不是把窗口开大就行：KV Cache 随序列长度线性膨胀，很快压过模型权重成为显存大头。本篇拆解 KV Cache 的来历与账单、多头注意力的三代瘦身方案（MQA/GQA/MLA）、稀疏与线性注意力的路线，以及「上下文长度」宣传数字背后的真实约束。

同样的任务，70B 模型能做到的，1B 模型经过蒸馏也常常能做到七八成——能力从大模型流向小模型的通道是当代 AI 工程的核心课题。本篇拆解蒸馏的三代方法（logit 蒸馏、CoT 蒸馏、on-policy 蒸馏）、量化与剪枝的压缩三件套，以及「小模型为何如此便宜」背后的技术账。

SFT（监督微调）是基座模型变成对话助手的第一步，也是最被误解的一步——它常被当成「教知识」，实际是「教格式与行为」。本篇拆解 SFT 的数据形态、训练细节（epoch、学习率、灾难性遗忘的边界）、常见的失败模式，以及「SFT 教的到底是不是能力」这个核心争议。

AI 的下一个大市场不在云端在端侧：AI 手机的通话翻译与图像处理、AI PC 的本地大模型、可穿戴的常驻智能——「把 AI 装进口袋」正在重写消费电子的换机逻辑。本文讲清端侧 AI 的技术约束（功耗、内存、散热）、小模型的演进、端云协同的架构，以及这场换机潮的真实与虚火。

2025-2026 年发布的前沿模型几乎清一色是 MoE：Llama 4、gpt-oss、Qwen3、Kimi K2，直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控，到细粒度专家与无辅助损失均衡的完整演进线，算清「省算力不省显存」的工程账，也正视微调难、训练不稳与成本争议。

70B 模型 FP16 要 140 GB 显存，量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下，代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则，以及「量化伤推理」争议的实测边界。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

骁龙 8 Elite Gen 5、天玑 9500、苹果 A19 Pro 的 NPU 各有说法，但手机上跑 LLM 的速度上限不由 TOPS 决定——解码阶段的每一步都要把整个模型从内存里搬一遍。本文用带宽公式算清端侧到底能跑多大模型，并梳理三大芯片平台的真实取向。

2026 年开放权重阵营的旗手已换成 GLM-5（744B，MIT）、Qwen3.5-397B-A17B（Apache 2.0）、DeepSeek V3.2（MIT）、Kimi K2 系与 Llama 4。本文按许可证、架构与部署成本三条线做全景对照，给出自托管、微调、企业集成三类场景的选型建议。

训练换 FP16 提速省显存，小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环；解释 BF16 靠 8 位指数为何免缩放；附跑通的 numpy 演示与 FP8 训练现状。

小模型学的是大模型的「能力」而非权重：讲清 Hinton 软标签与温度 τ 的暗知识原理、白盒与黑盒两条蒸馏路线、DeepSeek-R1 用 80 万样本蒸出 Qwen/Llama 小模型的成绩，以及学生上限与闭源 ToS 等边界。

Multi-Head Latent Attention (MLA) enables expressive multi-head attention with compact caches for its content and decoup…

田, 晏林* 2026-09-26 17:01:00 来源：量子位 GitHub现在最火热的大模型开源小蜂鸟Colibrì是个啥？ 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 25GB笔记本硬跑744B GLM-5.2，32GB…

Aikido Security has released Altar-1, its first open-weight security model. It is a compressed version of Z.AI’s GLM-5.3…

GGUF, GPTQ, AWQ, EXL2, and EXL3 solve the same problem in different ways. This guide separates file containers from quan…

Mixture-of-experts (MoE) inference on consumer hardware is bounded by weight memory: a 35B-class model is 19.5GB at 4-bi…

· 三星借 iPhone Duo 发布调侃苹果「热剩饭」 · OpenAI 限制图像和音频生成竞品在 ChatGPT 投放广告 · 曝奥迪在华重划双品牌：一汽负责四环、上汽主攻 AUDI #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：if…