AI
AI 资讯
alishangtian.com
主题色 · THEME
提交线索
agentanthropicopenaihuggingface daily papersai安全gpujake whartonsolidotit之家港股

搜索：PEFT

共命中 6 条（服务端检索）
一篇读懂 PEFT 全家桶：LoRA、QLoRA、Prefix Tuning 与 Adapter 的选择
从全量微调的显存账本讲起：LoRA 的秩一分解数学与参数量核算、QLoRA 的 NF4 三件套、Prefix Tuning 与 Adapter 的取舍，附横向对比表与选型决策树。
大模型 精选 · 原创 · 今天 阅读 2·访客 2
Heretic（p-e-w/heretic）：不训练一个参数，让优化器自动「改写」大模型行为
Heretic 用修饰器、评分器加 Optuna 优化器的三段式架构，在不做任何训练的情况下修改开放权重大模型的行为，v2.0 引入自研 ARA 任意秩消融算法与插件系统，社区已产出 8600 多个改后模型。
开源项目 精选 · 用户投稿 · 5天前 阅读 54·访客 49
一篇读懂分布式训练：数据并行、张量并行与流水线并行怎么分工
训练一个百亿级模型，单卡的显存装不下权重也跑不动计算——分布式训练把模型与数据摊到成百上千张卡上。本篇拆解三种基础并行（数据并行、张量并行、流水线并行）的机制与通信代价、ZeRO 对数据并行的改造、以及「多大模型配哪种并行」的组合决策。
大模型 精选 · 原创 · 6天前 阅读 26·访客 26
Researchers from Stanford and UC Berkeley Introduce TokenGate: Token-Gated Attention Makes Long-Context Prefill Up to 11.3x Faster
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
行业动态 MarkTechPost · 10-25 阅读 37·访客 37
一篇读懂 LoRA：低秩适配怎么把微调成本打下来
全量微调 7B 模型，光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几：W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡，以及它什么时候不如全量微调。
一叶一世界 精选 · 原创 · 10-7 阅读 480·访客 478
GGUF vs GPTQ vs AWQ vs EXL2: LLM Model Formats Explained (2026)
GGUF, GPTQ, AWQ, EXL2, and EXL3 solve the same problem in different ways. This guide separates file containers from quan…
大模型 MarkTechPost · 9-19 阅读 88·访客 85