AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
jake wharton
it之家
solidot
港股
搜索:
GPTQ
共命中 9 条(服务端检索)
GGUF vs
GPTQ
vs AWQ vs EXL2: LLM Model Formats Explained (2026)
GGUF,
GPTQ
, AWQ, EXL2, and EXL3 solve the same problem in different ways. This guide separates file containers from quan…
大模型
MarkTechPost · 9-19
阅读 102
·
访客 99
一篇读懂模型量化:70B 是怎么塞进一张消费级显卡的
70B 模型 FP16 要 140 GB 显存,量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下,代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解
GPTQ
的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则,以及「量化伤推理」争议的实测边界。
一叶一世界
精选
· 原创 · 10-8
阅读 656
·
访客 572
模型量化的精度账:从 FP16 到 INT4 该怎么选
从 FP16 压到 INT4,体积与显存降到约四分之一,量化是大模型部署的标配。本文讲清量化原理、PTQ 与 QAT 两条路线、RTN/
GPTQ
/AWQ 的思想差异,以及按显存逐级下降的选型决策表。
大模型
精选
· 原创 · 10-6
阅读 627
·
访客 626
一篇读懂模型剪枝:比量化更激进的结构化压缩
从 SparseGPT 与 Wanda 的打分公式到 Sheared-LLaMA 的结构化剪枝加续训,拆解剪枝路线的数学原理与真实收益。
大模型
精选
· 原创 · 11-9
阅读 49
·
访客 49
知识蒸馏与模型压缩:大模型的能力怎么「装进」小模型
同样的任务,70B 模型能做到的,1B 模型经过蒸馏也常常能做到七八成——能力从大模型流向小模型的通道是当代 AI 工程的核心课题。本篇拆解蒸馏的三代方法(logit 蒸馏、CoT 蒸馏、on-policy 蒸馏)、量化与剪枝的压缩三件套,以及「小模型为何如此便宜」背后的技术账。
研究前沿
精选
· 原创 · 11-3
阅读 100
·
访客 92
推理优化的产业地图:让大模型跑得更快更便宜的手艺人们
大模型价格战的背后(本库《价格战》),站着一条被低估的产业链:推理优化产业——量化、编译器、KV 缓存优化、投机解码、专用推理引擎。它不训练模型,却决定了模型的交付成本,是「价格战能打多低」的真正决定者。本文画一张推理优化产业的地图,讲清每一格的手艺与玩家。
行业动态
精选
· 原创 · 11-3
阅读 69
·
访客 68
一篇读懂模型量化:INT8/INT4 压完之后,能力到底损失多少
量化把模型权重从 FP16 压到 INT8 甚至 INT4——显存省一半到四分之三,本地部署因此成为可能。但「压完损失多少」取决于方法: naive 量化会毁掉模型,精心设计的量化几乎无损。本篇拆解量化的数学原理、PTQ 与 QAT 两条路线、per-channel 粒度与分组量化的意义,以及一张「什么位宽选什么」的决策表。
大模型
精选
· 原创 · 11-3
阅读 52
·
访客 52
G^2PTQ: Improving LLM Post-Training Quantization with Generalized Gradient Compensation
Post-training quantization (PTQ) is a practical approach to reducing the memory and computational footprint of large lan…
大模型
HuggingFace Daily Papers · 9-25
阅读 35
·
访客 35
Softmax Reparameterization for Output-Head Quantization
Large vocabularies make output heads a substantial inference cost in small language models. We propose softmax reparamet…
行业动态
HuggingFace Daily Papers · 9-25
阅读 25
·
访客 25