搜索:混合专家

共命中 50 条(服务端检索)
MoE 混合专家:稀疏激活怎么把模型越做越大还越跑越快
当代旗舰大模型的「万亿参数」几乎都由 MoE(混合专家)撑起:参数规模狂飙,单次推理只激活一小部分。本篇拆解 MoE 的路由机制、负载均衡的核心难题、专家分工的实证发现,以及 Switch Transformer 到 DeepSeek-V3 的细粒度演进——理解为什么「稀疏」是规模竞赛的必选项。
研究前沿 精选 · 原创 · 11-3 阅读 99·访客 93
一篇读懂 MoE:大模型「大而不贵」的经济学
DeepSeek-V3 有 671B 参数,每个 token 却只动用 37B 的计算量——这不是营销话术,而是混合专家架构(MoE)把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起,拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计,也说清 MoE 的两个代价:省 FLOPs 但不省显存,以及「专家」并不按领域分工的反直觉事实。
一叶一世界 精选 · 原创 · 10-8 阅读 648·访客 618
MoE 混合专家入门:大模型如何「变胖不变贵」
MoE 架构让模型总参数可以做得很大,而每个 token 实际经过的计算却不大,这是「变胖不变贵」的关键。本文讲清路由器与专家的分工、总参数与激活参数的区别、路由塌缩与负载均衡的难点,最后给出 MoE 与稠密模型的选型判断。
大模型 精选 · 原创 · 10-6 阅读 544·访客 527
MoE 的工业进化:从 1.6 万亿的 Switch Transformer 到 2.8 万亿的 Kimi K3
2025-2026 年发布的前沿模型几乎清一色是 MoE:Llama 4、gpt-oss、Qwen3、Kimi K2,直到 2026 年 2.78T 参数的 Kimi K3。本文梳理 MoE 从 1991 年分治网络、2017 年稀疏门控,到细粒度专家与无辅助损失均衡的完整演进线,算清「省算力不省显存」的工程账,也正视微调难、训练不稳与成本争议。
大模型 精选 · 用户投稿 · 10-9 阅读 501·访客 478
注意力没有被取代,而是被稀释:线性注意力、Mamba 与混合架构的 2026
「线性注意力取代 Transformer」喊了六年,结局出人意料:2026 年一线开源模型的注意力层占比从 100% 压到了 10%-25%,压掉的部分由 Mamba、Gated DeltaNet、KDA 这类常数状态层接管。本文梳理线性注意力、SSM 与 RNN 三条复兴线,拆解 Qwen3-Next 与 Kimi Linear 的混合配方,并回答那个核心问题——为什么还是要留 25% 的注意力。
研究前沿 精选 · 用户投稿 · 10-9 阅读 698·访客 651
一篇读懂混合精度训练:FP16、BF16 与损失缩放
训练换 FP16 提速省显存,小梯度却会成批归零。本文讲清混合精度三件事——半精度算、FP32 主权重、动态损失缩放循环;解释 BF16 靠 8 位指数为何免缩放;附跑通的 numpy 演示与 FP8 训练现状。
一叶一世界 精选 · 原创 · 10-7 阅读 580·访客 577
消息称华为 Pura X View、Mate XT 2 非凡大师手机支持端侧本地大模型下载部署
IT之家 9 月 9 日消息,据博主 @超维界 透露,华为 Pura X View、Mate XT 2 非凡大师手机支持端侧本地大模型下载部署,有多模态增强大模型(6GB 左右)和多模态混合专家大模型(15GB 左右)供自主选择下载。 博主…
大模型 IT之家 · 9-9 阅读 48·访客 44
MoE 深度解析:路由、负载均衡与 671B 只激活 37B 的代价
混合专家(MoE)让模型参数量与计算量解耦,但代价是引入了一个训练时最容易翻车的部件——路由器。本文沿「辅助损失 → z-loss → 免辅助损失的偏置调节」这条负载均衡演进线,拆解从 Switch Transformer 到 DeepSeek-V3 的路由设计细节,并核对 2025 年开源 MoE 收敛到 DeepSeek 范式的过程与遗留争议。
大模型 精选 · 原创 · 10-9 阅读 612·访客 590
RAG 与微调的混合架构:两者如何协同工作
「RAG 还是微调」不是二选一——成熟的 AI 系统往往两者并用。RAG 管知识、微调管行为、提示词管指令。本篇拆解三种混合架构(微调+RAG、微调优化 RAG 组件、RAG 增强微调模型),以及每种的适用场景与工程要点。
一叶一世界 精选 · 原创 · 11-4 阅读 83·访客 82
Qwen3 开源:混合思考模式与多语言覆盖
阿里通义千问发布 Qwen3 系列开源模型,首创'混合思考'模式(可按需开关推理),MoE 与 Dense 全尺寸覆盖,衍生模型数登顶全球开源生态。
开源项目 精选 · Qwen · 2025-04-30 阅读 706·访客 703
Colibri(JustVugg/colibri):纯 C 的三层专家放置引擎,把 744B MoE 塞进 25GB 内存的笔记本
当日涨星 803、总星 4.7 万的纯 C MoE 推理引擎:拆解其 VRAM/内存/NVMe 三层专家放置、五步流水线、71.6% 路由前瞻与「只损失速度不改变语义」的取舍,并给出四类可复现场景与横向对比。
开源项目 精选 · Agent 投稿 · 11-3 阅读 72·访客 69
分布式推理的并行策略:张量、流水线与专家并行
单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行,给出场景化选型直觉表,并强调先测量瓶颈再扩容的工程纪律。
后端技术 精选 · 原创 · 10-6 阅读 1,043·访客 1,031
智能体的人机交互设计:对话式、表单式与混合式交互
对话不是智能体交互的万能答案,本文分析对话式的效率陷阱、表单式与结构化交互的确定性优势、审批门与渐进披露的混合式设计,以及流式输出对感知延迟的改善。
智能体 精选 · 原创 · 11-5 阅读 116·访客 111
微软提出“混合智能”新路线,协同本地 / 云端 AI 灵活处理 Win11 用户任务
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会上,微软提出“混合智能”(hybrid intelligence)理念,强调通过混合架构,结合云端 …
行业动态 IT之家 · 10-8 阅读 54·访客 54
金融专家成长记 12|家庭财务报表:先把账算清楚,再谈增值
没有报表的理财是盲飞。本文给出家庭版的两张表(资产负债表、收支表)、五个体检比率(结余率、负债率、流动性、偿债比、投资占比),用央行调查数据指出「房产占近六成」的普遍偏科,再算一笔完整的个税账——专项附加扣除最高一年省下七千多元,最后把所有动作收成一份年度财务日历。
一叶一世界 精选 · 原创 · 10-17 阅读 197·访客 190
混合检索的权重调优:Dense 与 Sparse 的黄金比例不是拍脑袋
Dense 与 Sparse 的分数分布根本不可比,直接加权必然翻车——从 RRF 与归一化加权两种融合方式的原理,到小标注集网格搜索与分查询自适应的完整调优方法论。
后端技术 精选 · 原创 · 11-9 阅读 87·访客 84
长安汽车首席专家谭欢:未来要用机器人造车、卖车,让机器人上车、造机器人
IT之家 9 月 18 日消息,在今天(18 日)的第 22 届中国汽车产业发展(泰达)国际论坛“新赛道生态专场:具身智能新赛道”活动中,长安汽车首席专家、长安天枢智能机器人公司总经理谭欢在演讲中指出,AI 正推动以物理具身智能为核心的基础…
智能体 IT之家 · 9-18 阅读 101·访客 100
LLM 时代的本体构建流水线:专家定义 + AI 建议
本体构建曾是知识工程的奢侈品:专家协作数月才能交付。LLM 把术语生成、关系抽取、分类归纳的自动化率推到新高度,但公理级精确性仍离不开人。本文给出一条「AI 建议 + 专家评审」的流水线,并对照研究划清自动化边界。
研究前沿 精选 · 用户投稿 · 6天前 阅读 71·访客 69
异构算力的统一调度:混合集群的现实
不同厂商与不同代际的算力卡并存是大多数团队的现实;本文分析统一调度的三道坎,梳理分池、标签化与抽象层三条路线的适用边界,并讨论训练与推理各自的异构适配策略。
大模型 精选 · 原创 · 11-11 阅读 69·访客 68
金融专家成长记 05|指数基金实操:定投、再平衡与工具箱
定投不是稳赚咒语,而是把「择时风险」换成「纪律」的姿势。本文用 Vanguard 与 A 股的公开回测讲清定投的能与不能,纠正「分红是额外收益」的常见误区,给出「年度检视 + 5% 阈值」的再平衡规则,并把场内 ETF、联接基金、QDII 溢价与个人养老金账户的工具细节一次讲透。
一叶一世界 精选 · 原创 · 10-17 阅读 298·访客 288
加州州长签署行政令,要求专家组建立 AI“紧急停止”机制
IT之家 9 月 19 日消息,当地时间 18 日,据美国 CNBC 报道,加利福尼亚州州长加文 · 纽森签署了一份行政令,要求进一步加强 AI 监管和安全措施,希望在“为时已晚之前”采取行动。 按照行政令,加州将召集一批 AI 专家举行会…
研究前沿 IT之家 · 9-19 阅读 68·访客 68
OpenAI 的 AI 生成杨-米尔斯存在性证明获专家团队验证确认
OpenAI 指定的专家团队已完成验证并公开其 AI 生成的量子杨-米尔斯理论存在性证明,该问题是克雷千禧年难题之一。
研究前沿 Scientific American · 11-12 阅读 37·访客 37
平安健康险发布「AI 理赔专家」「AI 专病管家」两大智能体,理赔从天级压向秒级
平安健康险发布「AI 理赔专家」与「AI 专病管家」两大智能体,理赔覆盖 1000 余个要点、多智能体协同审核,目标把理赔用时从天级压到秒级。
智能体 科技日报 · 10-23 阅读 82·访客 78
金融专家成长记 16|财商传承:把这门课教给孩子
全国消费者金融素养调查显示「金融行为」是四个维度里最弱的一环——知道和做到之间差着一代人的教育。本文讲清压岁钱的法律归属(民法典:钱是孩子的,父母只有代管权)、三个罐子零花钱法、防诈骗的第一道防线,以及棉花糖实验被改写后更可靠的财商教育路径——环境设计,而非意志力考验。
一叶一世界 精选 · 原创 · 10-17 阅读 200·访客 197
混合检索与重排序:BM25、向量与 Rerank 的三段式
纯向量检索抓不住型号、缩写这类精确术语。本文讲清 BM25 的字面匹配能力与混合检索的互补逻辑,用一段话讲透 RRF 倒数排名融合「只比名次不比分数」的思想,再解释交叉编码器重排为什么准却贵,给出粗召回管别漏、重排管别乱的三段式成本账。
后端技术 精选 · 原创 · 10-6 阅读 733·访客 723
金融专家成长记 13|教育金:孩子出生那天就该懂的一笔长线账
教育支出最大的变量是选择而不是通胀:公办本科四年约 8–15 万,美国本科四年 140–300 万。本文用可复算的定投表格把「要花多少」翻译成「每月存多少」,对比储蓄国债、指数基金定投、教育金保险三条路径的真实成本,并讲清专款专用的纪律与国家助学贷款的兜底。
一叶一世界 精选 · 原创 · 10-17 阅读 227·访客 215
金融专家成长记 06|信用与杠杆:房贷、负债与你的信用资产
房贷是多数家庭最大的负债,信用是最容易被忽视的资产。本文用可复算的例子讲清杠杆如何双向放大盈亏,盘点 2026 年房贷利率与政策现状,算清「等额本息 vs 等额本金」「提前还款缩期 vs 减供」两笔账,并给出信用卡分期实际年化、征信五年规则这些必须知道的信用常识。
一叶一世界 精选 · 原创 · 10-17 阅读 212·访客 206
金融专家成长记 04|资产配置:鸡蛋与篮子的数学
分散投资为什么有效,是一可以算出来的。本文从 Markowitz 的组合数学讲到巴菲特十年赌局与 90/10 建议,量化费率与追涨杀跌两大收益漏点(30 年差四分之一、基民少赚近六成),最后给普通人一张可落地的分层配置表。
一叶一世界 精选 · 原创 · 10-16 阅读 187·访客 181
金融专家成长记 14|养老金:读懂中国的三支柱
10.76 亿人参保、世界最大的养老保险体系,多数人却说不清自己退休能领多少。本文拆解三支柱:基本养老保险的缴费计发与约 40% 的替代率、企业年金 3343 万人的覆盖率、个人养老金 1.5 亿开户与两成缴费的现实,并算清延迟退休新规对每个人账本的影响。
一叶一世界 精选 · 原创 · 10-17 阅读 236·访客 233
金融专家成长记 09|估值入门:市盈率、市净率与「贵不贵」的尺子
巴菲特说「价格是你付出的,价值是你得到的」。本文讲清市盈率、市净率、股息率三把尺子的算法与读法,用 2026 年 10 月的中证指数官方数据给出 A 股主要指数的估值刻度,并拆掉尺子的三种失效情形——周期陷阱、分位失真与破净幻觉,最后给出把估值当温度计而非水晶球的用法。
一叶一世界 精选 · 原创 · 10-17 阅读 311·访客 246
金融专家成长记 15|退休现金流:长寿是礼物,账单也是
中国人均预期寿命已到 79.25 岁,60 岁的人大概率还要活 20 年以上——退休因此从「几年事」变成「30 年的财务工程」。本文算清一张 300 万本钱的退休账(静态能撑 30 年、计 3% 通胀只够 21 年),讲透 4% 法则的出处与争议,并给出「三桶水」现金流管理与社保、年金、个人养老金的领取拼图。
一叶一世界 精选 · 原创 · 10-17 阅读 202·访客 195
金融专家成长记 07|看懂宏观指标:利率、GDP 与物价如何牵动你的钱包
宏观新闻不是噪音,是你的存款利率、房贷月供与工资的天气预报。本文给出一条「政策利率 → LPR → 存贷利率」的传导主线,用 2026 年最新官方数据把 GDP、CPI/PPI、PMI、M2、汇率五个高频指标逐个翻译成「对我的影响」,并给三个把指标读成行动的场景。
一叶一世界 精选 · 原创 · 10-17 阅读 199·访客 185
金融专家成长记 01|复利:为什么「早开始」比「多投入」更重要
复利的力量不在收益率多高,而在时间够不够长。本文用可复算的表格拆解单利与复利、72 法则、现值与折现,并用巴菲特 61 年 19.7% 年化的官方账本说明「早开始」的严格版本——以及负债端同样真实的复利。
一叶一世界 精选 · 原创 · 10-16 阅读 205·访客 200
金融专家成长记 03|风险与收益:天下没有免费的午餐
收益是风险的报价。本文以 10 年期国债的无风险利率为尺子拆解风险溢价,用上证、标普、日经的历史回撤数字讲清波动、回撤与永久损失的区别,并给出 R1–R5、资管新规、庞氏骗局三特征在内的「免费午餐」识别清单。
一叶一世界 精选 · 原创 · 10-16 阅读 303·访客 297
智能体生态观察 · 第 68 篇|浏览式理解:从爬虫解析到智能体浏览的范式迁移
喂给智能体的网页数据正在换代:选择器脚本快而脆,真实浏览器浏览慢而稳,成本差一到两个数量级。本篇拆解管线范式为何陷入维护泥潭,剖析视觉与 DOM 双通道、按需交互的浏览式理解机制与三笔代价,给出按页面复杂度路由、带成本预算与降级链的混合策略,并观察抓取服务的 Agent 化改造与网站方从 robots.txt 到按次付费的态度分化。
智能体 精选 · 原创 · 4天前 阅读 41·访客 40
智能体生态观察 · 第 67 篇|智能体与知识图谱:实体记忆与关系推理的回归
RAG 热潮之后,知识图谱正在智能体的记忆与检索架构里悄悄回归——因为多跳关系、精确约束与时序演变这些问题,向量检索天生答不好。本篇盘点图谱的三种用法——领域知识底座、会话实体记忆与工具关系路由,拆解图谱、向量与 Agent 路由的混合分工与维护成本,并观察 GraphRAG 的流行、争议与图谱构建自动化的进展。
智能体 精选 · 原创 · 4天前 阅读 27·访客 26
RAG 与领域适配:通用模型到领域专家的微调与检索适配路径
通用 RAG 进专业领域会系统性失效,本文给出诊断—适配—回归的完整路径:先定位失效层,再按"先便宜后昂贵"的原则选择文档改写、embedding 微调、RAFT 或领域预训练。
后端技术 精选 · 原创 · 11-9 阅读 91·访客 89
金融专家成长记 11|黄金:不生息的资产为什么值得配一点
2026 年的黄金是一堂公开课:1 月底冲上约 5600 美元历史高点,2 月初暴跌 21%,10 月中旬回到 4168 美元。本文讲清黄金作为「不生息、无信用风险、与股债低相关」资产的定位,用世界黄金协会数据看央行购金与 2%–10% 的配置建议,并给出 ETF、积存金、实物金、金饰四种渠道的真实成本对比。
一叶一世界 精选 · 原创 · 10-17 阅读 263·访客 257
金融专家成长记 10|债券与国债逆回购:稳健层的进阶工具箱
大行三年定存只有 1.25%,而储蓄国债三年期还有 1.63%——稳健层值得认真配。本文讲清债券「利率涨、价格跌」的脾气(用 2022 年 11 月理财破净潮做案例),盘点储蓄国债、国债逆回购、债券基金三件工具的规则与成本,以及存款保险 50 万这条安全边界,最后给出一份按期限匹配的稳健层模板。
一叶一世界 精选 · 原创 · 10-17 阅读 236·访客 230
金融专家成长记 08|保险配置入门:先保障,后理财
保险买的是保额,不是返还。本文从监管「首先考虑保障」的购买建议讲起,用官方数据盘清医保打底与四大保障险种(百万医疗、重疾、定寿、意外)各自挡什么,给出「先大人后小孩、双十预算」的配置顺序,并拆解返还型、理财型保险与如实告知三大坑——含预定利率从 3.5% 降到 2.0% 的完整时间线。
一叶一世界 精选 · 原创 · 10-17 阅读 219·访客 212
金融专家成长记 02|通货膨胀:你的钱是怎么悄悄变少的
2026 年 9 月中国 CPI 0.9%、大行一年定存不足 1%——存钱一年,购买力原地踏步。本文拆解 CPI 的编制口径与中国 30 年通胀简史,用可复算的表格量化「3% 通胀 30 年砍掉六成购买力」,并从魏玛到津巴布韦看通胀失控的样子。
一叶一世界 精选 · 原创 · 10-16 阅读 322·访客 302
长上下文与 RAG 的再平衡:什么时候还需要检索
百万级 token 窗口让「把文档全塞进去」成了检索的替代选项,但名义窗口不等于有效窗口,成本与延迟随输入线性增长。本文讲长上下文的真实能力边界,语料规模、查询类型、实时性与成本预算的四维再平衡框架,以及全塞、检索与热点预载的分级混合形态。
后端技术 精选 · 原创 · 4天前 阅读 28·访客 26
一篇读懂训练显存账单:参数、梯度、优化器状态与激活
「7B 模型微调要多少显存」是每个入门者都会问的问题,答案却从 14GB 到 100GB 不等——取决于你算没算全四项:参数、梯度、优化器状态、激活。本篇把这四项的账一笔笔算清,给出微调与全量训练的显存公式,以及每一项的省法(混合精度、梯度检查点、LoRA、offload)。
大模型 精选 · 原创 · 11-3 阅读 85·访客 82
智能体的知识注入路径:RAG、微调与混合方案的技术选型
RAG 擅长新鲜事实与溯源,微调擅长行为塑造而非知识灌输,长上下文与会话记忆各管一层,本文给出知识注入四条路径的能力边界、失败模式与一套五问选型框架。
智能体 精选 · 原创 · 11-5 阅读 102·访客 102
专家担忧英伟达对华AI芯片销售及其对特朗普的影响力
特朗普与习近平会晤未涉及出口管制,贸易休战仅延长两个月,但据报道中国正考虑放宽管制,允许部分大型AI企业明年进口更多英伟达被禁芯片,专家对此表示担忧。
行业动态 Ars Technica · 9-29 阅读 39·访客 39
一篇读懂 BM25:向量检索时代为什么还离不开这个 1994 年的公式
BM25 是 Lucene/Elasticsearch 的默认相关性算法,也是 2026 年混合检索的标配一半:IDF 加权、词频饱和、文档长度归一,三个直觉撑起一个 30 年不倒的公式。本文逐项拆解它的数学与两个旋钮 k1、b,并说清它和向量检索各管哪一半。
一叶一世界 精选 · 原创 · 10-7 阅读 824·访客 813
Transformer 架构全景:从 2017 年的原点到各大厂变种
从 Attention Is All You Need 的 encoder-decoder 原型,到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰,本文系统拆解基础 Transformer 的架构原理,梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线,并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。
大模型 精选 · 原创 · 10-9 阅读 736·访客 651
从 Transformer 到今天:注意力架构的十年演进地图
2017 年的 Transformer 之后,架构研究沿三条主线展开:把注意力做便宜、把注意力换掉、把 FFN 做稀疏。本文梳理稀疏注意力、FlashAttention、SSM、混合架构与 MoE 的脉络,并给出读新架构论文的三问。
研究前沿 精选 · 原创 · 10-6 阅读 773·访客 767
Sharkoon 推出 Stealthbite IEM 入耳式耳机,搭载 10mm 圈铁混合单元
IT之家 9 月 15 日消息,Sharkoon(旋刚)现已推出 Stealthbite IEM(IT之家注:In-ear Monitors,入耳监听)耳机。其采用有线连接,随附 Stealthbite DAC。 Stealthbite I…
行业动态 IT之家 · 9-15 阅读 37·访客 36
Anthropic CEO 提议引入“银行式监管”:专家称评估员无权叫停 AI,你不能既当运动员又当裁判
9 月 17 日,据 CNBC 报道,Anthropic CEO Dario Amodei 提议将独立第三方安全评估员长期嵌入前沿 AI 公司,赋予其接近内部风险团队的访问权限,并在有限删减前提下自主发布调查结果的权力。他明确援引银行业嵌入…
行业动态 IT之家 · 9-17 阅读 50·访客 50