AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
jake wharton
it之家
solidot
港股
搜索:
参数高效微调
共命中 50 条(服务端检索)
一篇读懂 LoRA:低秩适配怎么把微调成本打下来
全量微调 7B 模型,光 Adam 优化器状态就要吃掉 84GB 显存。LoRA 靠低秩假设把可训练参数压到万分之几:W'=W+BA 从何而来、QLoRA 如何把 65B 微调塞进一张 48GB 显卡,以及它什么时候不如全量微调。
一叶一世界
精选
· 原创 · 10-7
阅读 563
·
访客 561
操作系统内功 · 第 43 篇|sysctl 调优:/proc/sys 的高频参数与实战
网上流传的「Linux 调优脚本」大多来路不明。本篇讲透 sysctl 机制本身:/proc/sys 的树形结构、/etc/sysctl.d 的加载链与持久化、 somaxconn/port_range/file-max/overcommit 四组高频参数的真实语义与推导,容器里哪些参数进了 namespace,以及「改之前先测基线」的验证方法论。
后端技术
精选
· 原创 · 11-5
阅读 70
·
访客 70
一篇读懂学习率:训练里最重要的超参数
梯度只给方向,学习率决定步长。一个可运行的 numpy 实验演示过大、合适、过小三种学习率的命运;梳理 step decay、cosine、warmup 与 WSD 调度器的取舍与主流大模型的实际选择;并给出 AdamW 预训练、全参微调与 LoRA 的实用取值锚点。
一叶一世界
精选
· 原创 · 10-7
阅读 557
·
访客 549
RAG 与领域适配:通用模型到领域专家的微调与检索适配路径
通用 RAG 进专业领域会系统性失效,本文给出诊断—适配—回归的完整路径:先定位失效层,再按"先便宜后昂贵"的原则选择文档改写、embedding 微调、RAFT 或领域预训练。
后端技术
精选
· 原创 · 11-9
阅读 85
·
访客 84
一篇读懂 SFT:指令微调怎么把基座模型变成助手
SFT(监督微调)是基座模型变成对话助手的第一步,也是最被误解的一步——它常被当成「教知识」,实际是「教格式与行为」。本篇拆解 SFT 的数据形态、训练细节(epoch、学习率、灾难性遗忘的边界)、常见的失败模式,以及「SFT 教的到底是不是能力」这个核心争议。
大模型
精选
· 原创 · 11-3
阅读 60
·
访客 59
GPT-2模型微调
从零微调 GPT-2 的完整流程:数据准备、训练与效果评估
大模型
精选
· 原创博客 · 2024-04-26
阅读 593
·
访客 591
微调的数据工程:配比、去重、合成与过滤,决定成败的都在训练之前
LIMA 用 1000 条精选数据就调出了能打的模型,「数据质量压倒数量」从此有了实锤。本文拆解微调数据工程的四道工序——配比(防灾难性遗忘)、去重(MinHash 近重复)、合成(蒸馏优于自生成)、过滤(打分 + 多样性选择),给出可落地的迭代闭环。
大模型
精选
· 原创 · 10-7
阅读 523
·
访客 522
智能体的知识注入路径:RAG、微调与混合方案的技术选型
RAG 擅长新鲜事实与溯源,微调擅长行为塑造而非知识灌输,长上下文与会话记忆各管一层,本文给出知识注入四条路径的能力边界、失败模式与一套五问选型框架。
智能体
精选
· 原创 · 11-5
阅读 98
·
访客 98
RAG 与微调的混合架构:两者如何协同工作
「RAG 还是微调」不是二选一——成熟的 AI 系统往往两者并用。RAG 管知识、微调管行为、提示词管指令。本篇拆解三种混合架构(微调+RAG、微调优化 RAG 组件、RAG 增强微调模型),以及每种的适用场景与工程要点。
一叶一世界
精选
· 原创 · 11-4
阅读 77
·
访客 77
一篇读懂训练显存账单:参数、梯度、优化器状态与激活
「7B 模型微调要多少显存」是每个入门者都会问的问题,答案却从 14GB 到 100GB 不等——取决于你算没算全四项:参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清,给出微调与全量训练的显存公式,以及每一项的省法(混合精度、梯度检查点、LoRA、offload)。
大模型
精选
· 原创 · 11-3
阅读 80
·
访客 77
微调、RAG 还是提示词:一张决策表选对适配方式
「我的场景该微调、上 RAG,还是写好提示词」——这个问题 80% 的答案可以在一张决策表里找到。三种适配方式改的是模型的三样东西:行为、知识、与当次指令。本篇用「你想改什么」做主轴拆解决策逻辑,给出各方式的成本与风险、混合架构的常见形态,以及一个五分钟的自测流程。
大模型
精选
· 原创 · 11-3
阅读 63
·
访客 58
LlamaFactory 上手:不改代码微调一个自己的模型
微调不是万能钥匙,但适合固定风格、固定格式与领域行话类需求。本文先讲清何时该微调,再用 LoRA 原理加 LlamaFactory 三步实战,带你不改代码微调出自己的模型,并给出常见坑与最小评测法。
开源项目
精选
· 原创 · 10-6
阅读 488
·
访客 485
一篇读懂采样参数:temperature 与 top-p 是怎么给模型「调性格」的
同一个模型,temperature 从 0.2 调到 1.2,可以从「背答案的图书馆员」变成「喝了两杯的诗人」——模型一个参数都没变,变的只是从概率分布里挑词的规则。本文拆解温度缩放的数学、top-k/top-p/min-p 三代截断哲学,以及 temperature 等于 0 也不保证确定这类反直觉的坑。
一叶一世界
精选
· 原创 · 10-8
阅读 518
·
访客 509
Embedding 微调实战:领域适配与对比学习训练
通用 Embedding 模型在专业领域检索不准——领域术语的语义、内部文档的表述习惯,通用模型学不到。Embedding 微调用领域数据做对比学习训练,让向量「学会」领域的语义。本篇拆解微调的数据构造、训练流程与效果验证。
一叶一世界
精选
· 原创 · 11-4
阅读 74
·
访客 73
生成参数与检索的交互:温度、长度与上下文挤占
检索调到 90 分、生成参数随手一配掉回 70 分,是 RAG 团队最常见的冤枉账。本文算清温度、最大长度、上下文排布三条影响线与检索配置的系统性交互,给出各参数的推荐取向、失效形态与联合回归方法,主张生成参数必须与检索配置一起进评测。
后端技术
精选
· 原创 · 3天前
阅读 15
·
访客 15
一篇读懂 Temperature 与 Top-p:采样参数怎么调
模型每步输出的不是「下一个字」而是一张概率表,Temperature 与 Top-p 决定怎么从表里抽签。本文讲清温度如何改变分布锐度、Top-p 如何动态截断候选、重复惩罚如何抑制复读,并给出代码、问答、写作、Agent 四类场景的参数对照表。
一叶一世界
精选
· 原创 · 10-6
阅读 435
·
访客 433
一篇读懂 PEFT 全家桶:LoRA、QLoRA、Prefix Tuning 与 Adapter 的选择
从全量微调的显存账本讲起:LoRA 的秩一分解数学与参数量核算、QLoRA 的 NF4 三件套、Prefix Tuning 与 Adapter 的取舍,附横向对比表与选型决策树。
大模型
精选
· 原创 · 11-9
阅读 69
·
访客 69
HNSW 调参实战:M、ef 与召回率的三角关系
向量库的召回率忽然下降、延迟忽然变高,八成不是玄学而是 HNSW 参数没调对。本文拆解 HNSW 三个核心参数 M、efConstruction、efSearch 各管什么、动谁的成本,给出「先建图、再扫 efSearch」的调参顺序,以及 top-k 大于 efSearch 这类高频踩坑。
大模型
精选
· 原创 · 11-2
阅读 50
·
访客 50
一篇读懂上下文学习:示例没改一个参数,模型怎么就「学会」了
在提示里放几个输入-输出示例,模型一次前向传播就把新任务干得像模像样——没有梯度更新,没有训练循环,这就是上下文学习(ICL)。本文从 GPT-3 论文讲起,拆解「示例标签错了性能几乎不掉」这个反直觉实验,以及隐式贝叶斯推断与隐式微调两种主流解释,最后落到写提示词时真正管用的几条推论。
一叶一世界
精选
· 原创 · 10-8
阅读 715
·
访客 715
一篇读懂 RAG:为什么「先检索再生成」常比微调更划算
大模型的知识停在训练截止日,私有知识它更是从未见过。本文对比微调与 RAG 两条路线的成本与适用边界,给出二十行以内的最小检索增强流水线,并把检索不到、用不上、排序偏三类典型失败整理成系列路线图。
一叶一世界
精选
· 原创 · 10-6
阅读 586
·
访客 583
GPT-6 Astra 爆改 Qwen 大脑:只动 0.016% 参数,数学成绩疯涨
只改了 0.016% 的权重,一个 8 亿参数大模型的数学成绩,就从 7.9% 飙升到了 48.1%。 更夸张的是,动手修改这些权重的,竟然是另一个大模型 GPT-6 Astra。 最近,MIT CSAIL 的研究团队展示了一种相当大胆的 …
开源项目
爱范儿 · 11-3
阅读 38
·
访客 38
论文精读:GPT-3 与上下文学习的发现——不训练参数,只给例子
《Language Models are Few-Shot Learners》(Brown et al., 2020)把 GPT-3 推到 175B 参数,真正的发现却是另一个:只靠提示词里放几个例子,模型就能完成没训过的任务——in-context learning 从此改写了 NLP 的工作方式。本文精读这篇论文的机制、数据与遗留争议。
研究前沿
精选
· 原创 · 10-7
阅读 746
·
访客 743
Scaling Laws 十问十答:算力、数据与参数的交换律
以十个问答讲清 Scaling Laws:幂律为什么可外推、Chinchilla 如何修正参数与数据的配比、6ND 公式怎么当算力换算器、数据枯竭与推理时算力这两条新变量,以及这门「经验定律」对大公司与创业者的不同含义。
研究前沿
精选
· 原创 · 10-6
阅读 528
·
访客 525
英伟达发布 1200 亿参数开放多模态模型 Nemotron 3.5 Super VL:单 GPU 智能体任务吞吐量最高提升 5 倍
英伟达推出采用 MoE 架构(总参数 1200 亿、激活 120 亿)的开放多模态模型 Nemotron 3.5 Super VL,整合推理、工具调用与文本、图像、文档、视频理解能力,称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍,并公布多个企业定制案例与基准评测成绩。
大模型
IT之家 · 10-15
阅读 122
·
访客 122
Iris-3B:像素空间扩散训练、转换与微调的探索
作者从头预训练了3B参数的像素空间文生图Transformer Iris-3B,并将预训练的潜在空间模型FLUX.2 Klein base 4B转换为像素空间,在单目深度估计和图像修复/超分辨率任务上微调,发现像素空间生成先验并未带来显著提升。
研究前沿
HuggingFace Daily Papers · 10-7
阅读 38
·
访客 38
Mistral 7B 开源:小模型的高效革命
法国初创公司 Mistral AI 以 Apache 2.0 协议开源 7B 模型,以更小参数量比肩 Llama 2 13B,GQA 分组查询注意力等设计影响深远。
开源项目
精选
· Mistral AI · 2023-11-21
阅读 45
·
访客 43
MAI Code 1.1 Flash 模型将整合到微软 Win11:上下文窗口 256K、130B 参数
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的活动中,微软表示正计划将 MAI Code 1.1 Flash 模型(包含 1300 亿个参数)引入 Wi…
开源项目
IT之家 · 10-8
阅读 70
·
访客 70
蚂蚁百灵开源 Ling-3.1-flash 模型:总参数约 560B,最高支持 1M 上下文
蚂蚁百灵宣布开源总参数约 560B、每 Token 激活约 25B 的 Ling-3.1-flash 模型,最高支持 1M 上下文,并介绍了 MXFP4 量化、长上下文并行推理、投机解码等部署优化方案。
大模型
IT之家 · 10-16
阅读 66
·
访客 66
联邦学习遇上大模型:分布式训练的隐私前沿
从 FedAvg 到差分隐私大模型训练,梳理联邦学习与大模型结合的技术现状:记忆化攻击、梯度泄露、DP-SGD 与联邦微调的进展与开放问题。
研究前沿
精选
· 原创 · 11-9
阅读 74
·
访客 74
一篇读懂线程池设计:参数怎么定、队列怎么选
线程池是多线程编程的基础设施:复用线程避免频繁创建销毁的开销,控制并发度防止资源耗尽。但线程池的参数设计(核心线程数、最大线程数、队列类型与长度、拒绝策略)是一门需要理解的学问——不是拍脑袋填数字。本文讲清线程池的参数体系与设计方法。
后端技术
精选
· 原创 · 11-3
阅读 68
·
访客 68
从 FLAN 到指令泛化:零样本能力究竟从何而来
FLAN 与 T0 两条平行路线发现了「多任务指令微调产生零样本泛化」,本文拆解其机制解释、与 RLHF 的分野、以及它如何铺垫了今天的对话模型。
研究前沿
精选
· 原创 · 11-9
阅读 58
·
访客 58
LeetCode 101. 对称二叉树:递归的「双参数」形态
对称二叉树把递归从「单参数」升级到「双参数」:判断树对称 = 判断左子树与右子树互为镜像——比较函数接收两个节点。拆解双参数递归的写法、镜像的判定规则、以及迭代版(BFS 双队列)的实现。
算法题解
精选
· 原创 · 11-5
阅读 74
·
访客 73
腾讯发布开源模型 Hy4:770B 参数、1M 上下文、Apache 2.0 许可
腾讯发布开源模型 Hy4:770B 总参数、49B 激活的 MoE 架构,1M+ 上下文,Apache 2.0 许可。
大模型
Tencent · 11-5
阅读 60
·
访客 59
模型供应链安全:权重来源、pickle 投毒与模型市场
从模型市场下载一个开源权重文件,可能携带的不只是参数:pickle 反序列化的任意代码执行、被「重新发布」的假冒模型、藏了后门的微调权重。模型供应链安全正在成为软件供应链安全之后的新战场。本文讲清攻击面、已公开的真实案例与工程上的防御清单。
后端技术
精选
· 原创 · 11-3
阅读 110
·
访客 109
MoE 的工业进化:从 1.6 万亿的 Switch Transformer 到 2.8 万亿的 Kimi K3
2025-2026 年发布的前沿模型几乎清一色是 MoE:Llama 4、gpt-oss、Qwen3、Kimi K2,直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控,到细粒度专家与无辅助损失均衡的完整演进线,算清「省算力不省显存」的工程账,也正视微调难、训练不稳与成本争议。
大模型
精选
· 用户投稿 · 10-9
阅读 498
·
访客 475
OpenAI 发布 GPT-6.2 Astra 与 Sol:旗舰与高效率双线更新
OpenAI 正式发布 GPT-6.2 Astra(面向复杂项目的旗舰模型)与 GPT-6.2 Sol(高效率模型),API 同步上线并支持超高速模式,Token 效率较 GPT-6 Astra 进一步提升。
大模型
OpenAI · 4天前
阅读 4
·
访客 4
万亿参数开放权重时代:Kimi K3 与 Qwen3.8 的技术牌与另一面
2026 年 7 至 8 月,月之暗面 Kimi K3(2.8 万亿参数)与阿里 Qwen3.8(2.4 万亿)先后开放权重,开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单,拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行,同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重,不是人人可跑的乌托邦。
大模型
精选
· 原创 · 10-11
阅读 1,496
·
访客 1,405
微软发布 Surface Laptop Ultra,最高 128GB 统一内存可本地运行 1200 亿参数模型
微软举办特别发布会,推出搭载 NVIDIA RTX Spark Superchip 的 Surface Laptop Ultra(2599.99 美元起,1 petaflop AI 性能),官方数据显示其多项 AI 任务速度优于 16 英寸 MacBook Pro(M5 Pro),并同步更新了 Windows 的 Agent 能力、本地 AI 模型运行环境与本地云端算力协同。
行业动态
爱范儿 · 10-8
阅读 60
·
访客 60
英伟达发布 DGX Station for Windows:本地运行 1 万亿参数 AI 模型,最高 748GB 内存
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会上,英伟达发布 DGX Station for Windows,**定位为桌面级 AI 超级计算机,…
研究前沿
IT之家 · 10-8
阅读 54
·
访客 53
大模型能力提升路线图:从"堆参数"到训练全栈 + 外层程序
把 2026 年可核查的公开证据整理成一张六层能力路线图——预训练、后训练 RL、推理时计算、上下文与记忆、智能体与 Harness、世界模型。含 Meta ScaleRL 40 万 GPU 小时实验结论、RL 预算占比 10%–30% 口径、Chinchilla 对比、Meta-Harness 6x 差距等数据锚点,并给出优先级表与算法工程师/产品经理的行动建议。
大模型
精选
· 本站原创 · 9-10
阅读 851
·
访客 824
一篇读懂梯度累积:显存不够,步数来凑
想要 batch size 256,显存只装得下 16——梯度累积用「攒 16 步再更新一次」把大 batch 拼了出来,等效 batch = 微批 × 累积步数。但它有一个著名的例外(BatchNorm)和两个混合精度陷阱。本文用一个 20 行 PyTorch 例子讲清原理与全部坑点。
一叶一世界
精选
· 原创 · 10-7
阅读 740
·
访客 737
Heretic(p-e-w/heretic):不训练一个参数,让优化器自动「改写」大模型行为
Heretic 用修饰器、评分器加 Optuna 优化器的三段式架构,在不做任何训练的情况下修改开放权重大模型的行为,v2.0 引入自研 ARA 任意秩消融算法与插件系统,社区已产出 8600 多个改后模型。
开源项目
精选
· 用户投稿 · 11-4
阅读 84
·
访客 78
笔记本跑7000亿参数GLM!无GPU也行? SSD当显存用火爆GitHub
田, 晏林* 2026-09-26 17:01:00 来源:量子位 GitHub现在最火热的大模型开源小蜂鸟Colibrì是个啥? 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 25GB笔记本硬跑744B GLM-5.2,32GB…
开源项目
量子位 · 9-26
阅读 75
·
访客 75
自适应 ANN 参数:按查询难度调整召回力度
ef 与 nprobe 调一次就锁死是行业惯性,但查询难度天然分布不均,让全体查询为少数困难查询支付延迟代价并不划算。本篇讲难度信号的三类来源、迭代加深与预算内深挖的分级执行策略,以及按难度分桶的评测验收与分级误判的回退设计。
后端技术
精选
· 原创 · 3天前
阅读 11
·
访客 11
一篇读懂数据库连接池:为什么不能每个请求都建连接
数据库连接的建立涉及 TCP 三次握手、TLS 协商、MySQL 认证与会话初始化——高并发下每个请求都新建连接,数据库会被认证风暴打垮。连接池通过复用连接解决这个问题,但池的参数(大小、超时、空闲回收)设计不当反而成为瓶颈。本文讲清连接池的原理与调优。
后端技术
精选
· 原创 · 11-3
阅读 64
·
访客 64
Vela:基于自适应动作曲线参数化的视觉-语言-动作模型扩展
Vela 提出用连续轨迹(样条参数化 + 运动相关的时间支撑)替代固定速率动作块来表示机器人未来行为,并通过共享动作接口支持异构本体,使固定输出预算能自适应分配。
研究前沿
HuggingFace Daily Papers · 10-4
阅读 32
·
访客 32
操作系统内功 · 第 14 篇|一次网络收包的内核之旅:从网卡 DMA 到 epoll 返回
P99 飙升、CPU 总量不高、却有一个核的软中断逼近 100%——问题几乎总出在收包路径。本文沿「网卡 DMA → 硬中断 → NAPI 轮询 → 软中断预算 → GRO → 协议栈 → socket 队列 → epoll 唤醒」的完整数据通路走一遍,讲清每一站的成本、丢包计数器与调优参数,最后给出可照抄的排查清单与分层定位表。
后端技术
精选
· 原创 · 11-2
阅读 127
·
访客 123
操作系统内功 · 第 75 篇|IO 调度器:mq-deadline、BFQ 与 kyber
块层调度器决定请求以什么顺序、什么节奏下盘。本文定位调度器在 blk-mq 栈中的确切位置,拆解 mq-deadline 的读优先与过期时钟、BFQ 的按权重公平、kyber 的目标导向与 none 的直通惯例,给出换装命令、参数观测与两个真实工程现场,帮你按介质与负载选对策略。
后端技术
精选
· 用户投稿 · 2天前
阅读 7
·
访客 7
预填充吞吐超 330 Token/s:高通携手阶跃等为第六代骁龙 8 超级至尊版端侧适配 300 亿参数 AI 模型
IT之家 9 月 23 日消息,夏威夷时间 9 月 22 日 9 点(北京时间 9 月 23 日 3 点)召开的 2026 骁龙峰会上,高通宣布携手阶跃、无量火及江波龙,基于第六代骁龙 8 超级至尊版移动平台,**端侧适配与推理优化阶跃 S…
智能体
IT之家 · 9-23
阅读 105
·
访客 105
模型仓库与实验追溯:权重版本管理的工程
权重文件像代码一样需要版本管理:base、微调与适配器的派生关系,模型卡与元数据,超参、指标、数据版本的实验三角,本地缓存与对象仓库的存储布局,以及企业内网模型仓库的搭建要点。
大模型
精选
· 原创 · 11-11
阅读 66
·
访客 66