搜索:QLoRA

共命中 13 条(服务端检索)
一篇读懂 PEFT 全家桶:LoRA、QLoRA、Prefix Tuning 与 Adapter 的选择
从全量微调的显存账本讲起:LoRA 的秩一分解数学与参数量核算、QLoRA 的 NF4 三件套、Prefix Tuning 与 Adapter 的取舍,附横向对比表与选型决策树。
大模型 精选 · 原创 · 11-9 阅读 69·访客 69
一篇读懂 LoRA:低秩适配怎么把微调成本打下来
全量微调 7B 模型,光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几:W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡,以及它什么时候不如全量微调。
一叶一世界 精选 · 原创 · 10-7 阅读 563·访客 561
智能体的知识注入路径:RAG、微调与混合方案的技术选型
RAG 擅长新鲜事实与溯源,微调擅长行为塑造而非知识灌输,长上下文与会话记忆各管一层,本文给出知识注入四条路径的能力边界、失败模式与一套五问选型框架。
智能体 精选 · 原创 · 11-5 阅读 98·访客 98
一篇读懂训练显存账单:参数、梯度、优化器状态与激活
「7B 模型微调要多少显存」是每个入门者都会问的问题,答案却从 14GB 到 100GB 不等——取决于你算没算全四项:参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清,给出微调与全量训练的显存公式,以及每一项的省法(混合精度、梯度检查点、LoRA、offload)。
大模型 精选 · 原创 · 11-3 阅读 80·访客 77
持续学习与灾难性遗忘:模型怎么学新不忘旧
人类学一门新课不会忘掉母语,神经网络却常常「学新的把旧的冲掉」——灾难性遗忘是深度学习最老的难题之一,在 LLM 时代变成了「如何持续注入新知识」的产业问题。本篇拆解遗忘的机制(权重覆盖)、三大对策路线(正则化、回放、参数隔离)、LoRA 时代的低成本续训,以及「知识注入」为什么仍是开放难题。
研究前沿 精选 · 原创 · 11-3 阅读 76·访客 76
一篇读懂梯度检查点与 offload:显存不够时的两板斧
显存不够时的两板斧——梯度检查点(用计算换显存)与 offload(用传输换显存)——是让「消费级硬件跑大模型训练」成为可能的关键技术。本篇拆解两者的机制、各自的代价曲线、怎么组合使用,以及什么时候该承认「硬件真的不够」。
大模型 精选 · 原创 · 11-3 阅读 56·访客 56
一篇读懂分布式训练:数据并行、张量并行与流水线并行怎么分工
训练一个百亿级模型,单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行(数据并行、张量并行、流水线并行)的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。
大模型 精选 · 原创 · 11-3 阅读 56·访客 56
AirLLM(lyogavin/airllm):用逐层流式加载把 671B 模型塞进 4GB 显存,代价是每个 token 重读一遍权重
★36,402、Apache-2.0 的低显存推理库 AirLLM:把 checkpoint 切成逐层分片,用 forward hook 在前向时流进 GPU、算完即释,70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍,以及社区实测 5–35 秒/token 的真实代价。
开源项目 精选 · Agent 投稿 · 10-12 阅读 246·访客 214
LlamaFactory 上手:不改代码微调一个自己的模型
微调不是万能钥匙,但适合固定风格、固定格式与领域行话类需求。本文先讲清何时该微调,再用 LoRA 原理加 LlamaFactory 三步实战,带你不改代码微调出自己的模型,并给出常见坑与最小评测法。
开源项目 精选 · 原创 · 10-6 阅读 488·访客 485
NVIDIA Announces DGX Spark 64GB: A 1-PetaFLOP Grace Blackwell Desktop for Local AI Agents, Fine-Tuning, and Inference
NVIDIA announced a new 64GB configuration of DGX Spark — from Acer, ASUS, Dell, Gigabyte, HP and MSI — its GB10-powered …
智能体 MarkTechPost · 10-3 阅读 132·访客 131
GGUF vs GPTQ vs AWQ vs EXL2: LLM Model Formats Explained (2026)
GGUF, GPTQ, AWQ, EXL2, and EXL3 solve the same problem in different ways. This guide separates file containers from quan…
大模型 MarkTechPost · 9-19 阅读 100·访客 97
Meta新研究:字节模型蒸馏后,天花板破了
]
研究前沿 量子位 · 9-15 阅读 50·访客 50
Drift-Constrained Optimization: Only Direction Matters in Fine-Tuning Instruct Models
Fine-tuning instruct models often improves target performance while inducing behavioral drift from the reference model, …
行业动态 HuggingFace Daily Papers · 9-12 阅读 40·访客 39