搜索:QLoRA

共命中 6 条(服务端检索)
一篇读懂 LoRA:低秩适配怎么把微调成本打下来
全量微调 7B 模型,光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几:W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡,以及它什么时候不如全量微调。
原创 一叶一世界 精选 · 原创 · 今天 阅读 1·访客 1
LlamaFactory 上手:不改代码微调一个自己的模型
微调不是万能钥匙,但适合固定风格、固定格式与领域行话类需求。本文先讲清何时该微调,再用 LoRA 原理加 LlamaFactory 三步实战,带你不改代码微调出自己的模型,并给出常见坑与最小评测法。
原创 开源项目 精选 · 原创 · 昨天 阅读 0·访客 0
NVIDIA Announces DGX Spark 64GB: A 1-PetaFLOP Grace Blackwell Desktop for Local AI Agents, Fine-Tuning, and Inference
NVIDIA announced a new 64GB configuration of DGX Spark — from Acer, ASUS, Dell, Gigabyte, HP and MSI — its GB10-powered …
智能体 MarkTechPost · 4天前 阅读 26·访客 26
GGUF vs GPTQ vs AWQ vs EXL2: LLM Model Formats Explained (2026)
GGUF, GPTQ, AWQ, EXL2, and EXL3 solve the same problem in different ways. This guide separates file containers from quan…
大模型 MarkTechPost · 9-19 阅读 41·访客 38
Meta新研究:字节模型蒸馏后,天花板破了
]
研究前沿 量子位 · 9-15 阅读 20·访客 20
Drift-Constrained Optimization: Only Direction Matters in Fine-Tuning Instruct Models
Fine-tuning instruct models often improves target performance while inducing behavioral drift from the reference model, …
行业动态 HuggingFace Daily Papers · 9-12 阅读 14·访客 13