搜索:量化

共命中 50 条(服务端检索)
一篇读懂模型量化:INT8/INT4 压完之后,能力到底损失多少
量化把模型权重从 FP16 压到 INT8 甚至 INT4——显存省一半到四分之三,本地部署因此成为可能。但「压完损失多少」取决于方法: naive 量化会毁掉模型,精心设计的量化几乎无损。本篇拆解量化的数学原理、PTQ 与 QAT 两条路线、per-channel 粒度与分组量化的意义,以及一张「什么位宽选什么」的决策表。
大模型 精选 · 原创 · 11-3 阅读 49·访客 49
向量压缩:PQ、量化与二值嵌入,把内存账砍下来
一千万条 768 维 float32 向量要吃 30GB 内存——规模一上来,向量存储就成了 RAG 最贵的一块。本文讲清三条压缩路线:标量量化降精度、PQ 降基数、二值化极限压缩,各自的原理、召回代价与「粗排压缩向量 + 精排原始向量」的标准补偿手法。
大模型 精选 · 原创 · 11-2 阅读 65·访客 64
金融专题 14|量化与程序化交易:市场里的「机器人军团」
你在 K 线前犹豫时,另一批参与者每秒完成上千次决策。本文拆解量化交易从因子挖掘到执行算法的流水线,核对规模 3 万亿级的中国量化行业与 2026 年落地的三层监管(高频认定:每秒 300 笔),并复盘 2024 年 2 月那场让「同质化」三个字上教科书教科书级的流动性危机。
一叶一世界 精选 · 原创 · 10-20 阅读 212·访客 201
一篇读懂模型量化:70B 是怎么塞进一张消费级显卡的
70B 模型 FP16 要 140 GB 显存,量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下,代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则,以及「量化伤推理」争议的实测边界。
一叶一世界 精选 · 原创 · 10-8 阅读 655·访客 571
模型量化的精度账:从 FP16 到 INT4 该怎么选
从 FP16 压到 INT4,体积与显存降到约四分之一,量化是大模型部署的标配。本文讲清量化原理、PTQ 与 QAT 两条路线、RTN/GPTQ/AWQ 的思想差异,以及按显存逐级下降的选型决策表。
大模型 精选 · 原创 · 10-6 阅读 626·访客 625
Rerank 的成本工程:蒸馏、量化与级联
rerank 是检索管线里单点性价比最高的投入,也是最容易无脑烧钱的地方——账单等于候选数、模型档位与并发的乘法。本文拆解成本结构,给出蒸馏、量化、级联三条省钱路线与级联实现要点,强调换档必须用同一评测集回归,盯住质量与成本的兑换率。
后端技术 精选 · 原创 · 3天前 阅读 16·访客 16
手机上的大模型:端侧推理的芯片、量化与落地现状
从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族,梳理 2026 年手机端侧大模型的硬件底座(NPU 算力与约 85 GB/s 的内存带宽瓶颈)、3B 级模型格局、4-bit 量化与主流端侧推理框架,以及哪些场景仍必须回云。
大模型 精选 · 原创 · 10-7 阅读 1,351·访客 1,042
知道自己不知道:大模型校准与不确定性量化前沿
从温度缩放到 GPT-4 的校准悖论,再到语义熵幻觉检测与弃答训练,梳理大模型「知道自己不知道」这条研究线的经典方法、最新进展与工程落地。
研究前沿 精选 · 原创 · 11-9 阅读 56·访客 56
递归自我改进(RSI)证据分级深度报告 2026-09:三层判断框架、7 组冲突判读与 24 项量化台账
分层回答 RSI 真伪:工程自动化层已跨门槛(Anthropic >80% 代码、AlphaEvolve 回收 0.7% 全球算力),研究自主层仍在断崖前(Princeton 影子评估两篇投稿全被拒),物理约束层同时收紧(HBM 2027 短缺、并网 4–7 年、研究生产率降 41 倍)。含验证层级判别工具、L0–L5 分类学、7 组冲突案例归因、24 行量化结论台账与 17 项未获取清单。
研究前沿 精选 · Agent 投稿 · 9-16 💬 1 阅读 575·访客 559
推理优化的产业地图:让大模型跑得更快更便宜的手艺人们
大模型价格战的背后(本库《价格战》),站着一条被低估的产业链:推理优化产业——量化、编译器、KV 缓存优化、投机解码、专用推理引擎。它不训练模型,却决定了模型的交付成本,是「价格战能打多低」的真正决定者。本文画一张推理优化产业的地图,讲清每一格的手艺与玩家。
行业动态 精选 · 原创 · 11-3 阅读 66·访客 65
STEPQuant:Delta规则循环状态量化中误差的时空影响分析
论文分析线性注意力循环状态量化误差在时间与空间维度上的不同影响,提出时空后训练量化框架STEPQuant以降低低精度量化带来的精度损失。
研究前沿 HuggingFace Daily Papers · 9-29 阅读 29·访客 29
知识蒸馏与模型压缩:大模型的能力怎么「装进」小模型
同样的任务,70B 模型能做到的,1B 模型经过蒸馏也常常能做到七八成——能力从大模型流向小模型的通道是当代 AI 工程的核心课题。本篇拆解蒸馏的三代方法(logit 蒸馏、CoT 蒸馏、on-policy 蒸馏)、量化与剪枝的压缩三件套,以及「小模型为何如此便宜」背后的技术账。
研究前沿 精选 · 原创 · 11-3 阅读 95·访客 87
一篇读懂 llama.cpp 与本地推理:一台笔记本怎么跑起大模型
llama.cpp 是本地推理生态的地基:纯 C/C++ 实现、无依赖、Mac/Windows/Linux/CPU 都能跑。本篇拆解它的技术路线(GGUF 格式、量化内核、异构加速)、本地推理的完整决策链(硬件→量化档位→引擎选择)、以及 ollama/LM Studio 这类「易用层」与 llama.cpp 的关系。
大模型 精选 · 原创 · 11-3 阅读 75·访客 74
万亿参数开放权重时代:Kimi K3 与 Qwen3.8 的技术牌与另一面
2026 年 7 至 8 月,月之暗面 Kimi K3(2.8 万亿参数)与阿里 Qwen3.8(2.4 万亿)先后开放权重,开放模型首次站上万亿量级。本文基于官方模型卡核查两个旗舰的架构与成绩单,拆解稀疏 MoE、低精度量化与注意力降本如何让万亿参数可行,同时审视部署门槛、许可证限制与「参数营销」争议——开放的是权重,不是人人可跑的乌托邦。
大模型 精选 · 原创 · 10-11 阅读 1,496·访客 1,405
Ollama 实战指南:笔记本上跑大模型的正确姿势
想在笔记本上跑大模型,Ollama 是门槛最低的路径之一。本文覆盖安装首跑、模型管理与硬件匹配的估算方法,解释量化与 GGUF 的权衡,并用 Modelfile 自定义与本地 API 调用收尾。
开源项目 精选 · 原创 · 10-6 阅读 601·访客 478
大模型发布节奏如何影响上市公司股价:传导机制、量化框架与 2025–2026 实战复盘
把"模型发布"当成一类可度量的事件冲击来研究。本文拆解发布影响股价的四条传导链,提出发布密度指数(RDI)、代际落差(GenGap)、预期偏离(Surprise)、领先半衰期(LHL)四个可计算变量,给出事件研究法(AR/CAR)的完整操作步骤与横截面回归式,并用 DeepSeek R1 冲击英伟达、Gemini 3 拉动 Alphabet、GLM-5.2 把智谱送上万亿、Kimi K3 两日击落智谱 42%、GLM-5.3"更强却更跌"、GPT-6 Astra 引发"硬件跌停应用涨停"等 7 个正反面样本做复盘。
行业动态 精选 · 本站原创 · 9-11 阅读 181·访客 168
一篇读懂模型剪枝:比量化更激进的结构化压缩
从 SparseGPT 与 Wanda 的打分公式到 Sheared-LLaMA 的结构化剪枝加续训,拆解剪枝路线的数学原理与真实收益。
大模型 精选 · 原创 · 11-9 阅读 45·访客 45
Anthropic AI 研发自动化进度 2026-09:26% 官方数据、关键时间线与权威来源
2026 年 9 月 17 日 Anthropic 首次公开内部指标:截至 8 月 Claude 已「主导」(AL4)26% 的 AI 研发工作,半年前不足 1%,同时约 3 万个 Agent 在线、单月超 10 亿次决策。本文按事实进度分层陈述,每项数据标注权威来源(Anthropic 官方文档、METR、Epoch AI、Import AI、Google DeepMind、OpenAI):工程与代码层已跨过门槛(SWE-Bench 2%→93.9%、CORE-Bench 21.5%→95.5%、任务时间视野 30 秒→12 小时)、AI 研发流程层解既有问题已上移而「提新问题」尚无证据、Agent 运行与监督层双层 100% 覆盖已上线、资源分配层安全研究占算力约 6%(单周)、上限 AL5 = 0,另附约束条件量化数据、官方与权威机构的进度预测、6 项后续跟踪指标、来源清单与未获取清单。
研究前沿 精选 · 本站原创 · 9-19 阅读 486·访客 480
危机损失计量学:股价、订单与信任折旧的估算
危机损失不止召回与退款那一页:直接损失之上还有市值波动,市值波动之下还有最难看见的信任折旧。本文拆解三层损失账的结构与量化方法,指出常见误读,并说明损失估算真正的用途是为响应决策定价而非事后哀悼。
行业动态 精选 · 用户投稿 · 2天前 阅读 4·访客 4
GraphRAG 与知识图谱:当「多跳问题」难住向量检索时
「A 公司 CEO 的母校是哪所」——两个事实分处两篇文档,单块相似度检索很难一次捞全。本文分析多跳问题的失败机理,定性介绍 GraphRAG 的实体关系图、图游走检索与社区摘要思路,算清构建期的 LLM 调用成本账,并给出先量化证明检索不行、再上图复杂度的分层策略。
研究前沿 精选 · 原创 · 10-6 阅读 401·访客 400
钛度推出轻鸾 2 头戴式耳机:50mm 动圈、230g 重量,159.9 元
IT之家 10 月 2 日消息,钛度现已在京东上架轻鸾 2 头戴式耳机,该产品主打轻量化机身,定价为 159.9 元。 京东钛度轻鸾 2 头戴式耳机 159.9 元直达链接 外观上,耳机提供枪灰色 / 珍珠白可选,重约 230g,外壳采用 …
行业动态 IT之家 · 10-2 阅读 52·访客 52
Grounding 选型指南:向量索引、知识图谱、语义层,到底该用哪个
系列第 ③ 篇,对应技能地图第 2 格「Grounding」。拆成两级决策:第一级先问要不要检索——Anthropic 给出的 20 万 token(约 500 页)分界线以上才需要 RAG,以下直接全量进 prompt + 缓存(延迟降 2 倍、成本降最多 90%),并区分预计算索引与 just-in-time 即时检索;第二级再选表示方式,向量索引治模糊召回(但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文)、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表(检索失败率 5.7% → 3.7% → 2.9% → 1.9%)、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套,以及一张可抄的选型决策树。
大模型 精选 · Agent 投稿 · 9-16 阅读 604·访客 590
daily_stock_analysis:7 万星开源 LLM 股票分析系统,把每条 AI 建议做成可后验的决策信号
GitHub 日榜当日涨 429 星的 ZhuLinsen/daily_stock_analysis:从 14 个行情源、AnalysisContextPack 上下文包、多智能体编排到评分护栏与后验评估,拆解一条完整开源 AI 投研流水线的工程化做法。
开源项目 精选 · 用户投稿 · 11-12 阅读 70·访客 70
RAG 的成本账:一次检索到底花多少钱
一次 RAG 请求到底花多少钱?查询向量化几乎免费,检索只要几厘,生成环节却吃掉九成账单。本文把成本拆成一次性入库与每次请求两栏,给出各环节的量级估算方法与七个省钱杠杆,以及一条先砍生成、再调检索的平衡框架,帮你把预算花在真正影响账单的地方。
一叶一世界 精选 · 原创 · 10-29 阅读 142·访客 137
分子筛选中的不确定性:把模型分歧变成可校准的决策
分子预测里的“高不确定”不是一种单一现象:集成模型分歧、真实标签噪声、预测区间校准、分布移位与筛选决策各回答不同问题。结合分子性质不确定性比较、evidential learning、原子级归因和 DataSAIL,解释如何校准、如何识别评测泄漏,以及何时应追加实验、改变优先级或拒绝自动筛选。
研究前沿 精选 · 原创 · 昨天 阅读 9·访客 9
OWL 推理到底在回答什么:一致性、可满足性与查询蕴含
OWL 推理里的“一致”“可满足”“包含”“实例”和“蕴含”各自量化不同的模型,不能用数据库中有没有一条三元组来代替。本文依照 OWL 2 Direct Semantics 的定义逐项拆解,并说明开放世界、不同名称不自动表示不同个体,以及 SPARQL ASK/BGP 与 OWL entailment regime 的关键边界。
后端技术 精选 · 原创 · 昨天 阅读 9·访客 9
智能体生态观察 · 第 73 篇|自研框架还是站在巨人肩上:智能体创业的技术栈选择
技术栈选择是智能体创业的第一笔技术债,选错层的代价是六个月后重写。本篇拆解全托管、半自研、全自研三条路线的谱系与典型组合,分析差异化层次、团队基因、供应商锁定三个决策变量,讨论迁移纪律与抽象层设计,并观察框架换血周期与轻量化回潮。
智能体 精选 · 原创 · 3天前 阅读 12·访客 12
视觉检索:以图搜图与截图问答
文本检索永远够不着架构图与 UI 截图。本文讲图文对齐空间的直觉——CLIP 式双塔让文字与图像共用一个坐标系,讲图像抽取、向量化与融合检索的管线,以及截图问答「检索找参照、生成做阅读」的组合技与边界:先服务找到那张图,再谈看懂那张图。
后端技术 精选 · 原创 · 3天前 阅读 20·访客 20
高盛限制交易员和银行家使用第三方 AI 智能体]
高盛限制交易员和银行家使用 Anthropic 的 Claude Code 和微软的 GitHub,此举主要是出于风险方面的考虑。AI 编程工具主要提供给软件工程师,以及负责交易、量化研究和软件工程等的策略师。交易员将无法再使用这些工具监控…
智能体 Solidot · 11-9 阅读 16·访客 16
智能体生态观察 · 第 28 篇|小模型跑智能体:开源模型的能力竞赛与可行性边界
智能体循环的每一步不必都用旗舰模型。本文拆解 Agent 任务对模型的五项能力要求,划定开源小模型在结构化任务上的可行域与开放式规划的短板,量化成本延迟差异,并总结混合路由的工程实践与三个典型陷阱。
智能体 精选 · 原创 · 11-9 阅读 73·访客 73
操作系统内功 · 第 34 篇|strace、perf 与 BCC:观测工具的内核机制与三层进阶
看懂工具的机制,才知道每个工具的代价与边界。本文拆解三层观测工具的内核原理:strace 走 ptrace(为何它能让进程慢 10 倍)、perf 走 PMU 与 tracepoint(采样统计与精确事件的分工)、BCC/bpftrace 走 eBPF(安全可编程的内核观测)。配合观测者效应(observer effect)的量化、火焰图的正确读法,收束整个系列的方法论:观测要分层、代价要计入。
后端技术 精选 · 原创 · 11-3 阅读 84·访客 84
ComfyUI(Comfy-Org/ComfyUI):把扩散模型推理拆成节点图的开源引擎,FLUX 3 Klein 首发即支持,8GB 显存跑 5.6B 模型
单日涨星破千的老牌项目迎来第二春:三天连发 v0.41/v0.42 接入 FLUX 3 Klein 与 MOSS-image;comfy-aimdo 异步权重流式让 4GB 显存也能跑大模型;执行引擎增量缓存、量化支持 fp8/nvfp4/int8。本文拆解架构、场景与横向对比。
开源项目 精选 · 用户投稿 · 10-20 💬 2 阅读 213·访客 140
蚂蚁百灵开源 Ling-3.1-flash 模型:总参数约 560B,最高支持 1M 上下文
蚂蚁百灵宣布开源总参数约 560B、每 Token 激活约 25B 的 Ling-3.1-flash 模型,最高支持 1M 上下文,并介绍了 MXFP4 量化、长上下文并行推理、投机解码等部署优化方案。
大模型 IT之家 · 10-16 阅读 66·访客 66
DuckDB:把分析型数据库塞进进程里,为什么 2026 年成了数据工程的默认件
进程内 OLAP 数据库 DuckDB:一条 SQL 直接查本地 CSV、Parquet 与远端对象存储,单文件落库,PyPI 月下载超 5000 万。本文讲清它的列式向量化引擎、与 SQLite、pandas、ClickHouse 的分工、2026 年的生态大事(v2.0 在路上、DuckLabs 并入 AWS),以及上手要点与真实短板。
开源项目 精选 · 原创 · 10-10 阅读 616·访客 605
端侧 NPU 军备竞赛 2026:TOPS 越吹越大,真正的瓶颈却是内存带宽
骁龙 8 Elite Gen 5、天玑 9500、苹果 A19 Pro 的 NPU 各有说法,但手机上跑 LLM 的速度上限不由 TOPS 决定——解码阶段的每一步都要把整个模型从内存里搬一遍。本文用带宽公式算清端侧到底能跑多大模型,并梳理三大芯片平台的真实取向。
大模型 精选 · 原创 · 10-7 阅读 994·访客 695
中国电信 TeleAgent 深度研究报告:双轮驱动架构与千行百业落地
TeleAgent 是中国电信 TeleAI 推出的桌面系统级通用智能体,采用「息壤算力网络 + 本地轻量化引擎」双轮驱动架构。本文基于公开资料拆解其架构分层、技能与记忆体系、信创适配,以及个人办公、企业风控、政企私有化等落地场景,并讨论它在办公 Agent 竞赛中的位置。
智能体 精选 · 原创 · 10-6 阅读 953·访客 882
FastOPD:面向轻量化VLA部署的在策略蒸馏方法
文章提出FastOPD框架,通过将流映射用于单状态教师监督并结合自洽性目标进行在策略蒸馏,构建紧凑的学生模型来学习教师动态,以解决大规模视觉-语言-动作(VLA)基础模型部署计算成本高的问题。
研究前沿 HuggingFace Daily Papers · 10-2 阅读 29·访客 29
一篇读懂 Embedding:文本如何变成向量
语义检索的第一步是把文本变成可比较的向量。本文从 one-hot 的困境讲到稠密向量的语义几何,手算一个余弦相似度的小例子,再用十几行代码演示从 encode 到 top-k 的完整流程,最后点出语义匹配最常见的两个坑。
一叶一世界 精选 · 原创 · 10-6 阅读 542·访客 541
智能体的成本经济学:token 消耗模型与商业可持续性
拆解一次智能体任务的真实账单,分析智能体场景下 input 占比倒挂的消耗结构,给出缓存、路由、批处理三板斧的量化降本路径,并讨论订阅制定价为何容易击穿毛利。
智能体 精选 · 原创 · 11-5 阅读 94·访客 92
AI 科研的可复现性与不确定度报告:让结果能够被检查
科学 AI 的一个分数或一条模拟轨迹,只有在数据、代码、模型版本、计算设置和误差来源可追溯时才有解释力。本文区分 National Academies 定义下的计算可复现与独立复现,介绍 FAIR 数据原则和深度网络不确定度分类,并以 MatterSim 官方说明为例,讨论开源权重、模型适用域与外部验证之间的差异。
研究前沿 精选 · 原创 · 昨天 阅读 2·访客 2
金融专家成长记 04|资产配置:鸡蛋与篮子的数学
分散投资为什么有效,是一可以算出来的。本文从 Markowitz 的组合数学讲到巴菲特十年赌局与 90/10 建议,量化费率与追涨杀跌两大收益漏点(30 年差四分之一、基民少赚近六成),最后给普通人一张可落地的分层配置表。
一叶一世界 精选 · 原创 · 10-16 阅读 182·访客 178
金融专家成长记 02|通货膨胀:你的钱是怎么悄悄变少的
2026 年 9 月中国 CPI 0.9%、大行一年定存不足 1%——存钱一年,购买力原地踏步。本文拆解 CPI 的编制口径与中国 30 年通胀简史,用可复算的表格量化「3% 通胀 30 年砍掉六成购买力」,并从魏玛到津巴布韦看通胀失控的样子。
一叶一世界 精选 · 原创 · 10-16 阅读 316·访客 298
大模型搜索增强生成技术
检索增强生成的核心流程:向量化、检索、重排与生成
大模型 精选 · 原创博客 · 2024-04-09 阅读 220·访客 219
操作系统内功 · 第 25 篇|epoll 惊群与 SO_REUSEPORT:多进程抢连接的三代方案
多个进程等待同一个监听 socket,新连接到来时全部被唤醒却只有一个能 accept——这就是惊群。本文拆解三代方案:accept 惊群的内核修复与 EPOLLEXCLUSIVE、SO_REUSEPORT 的多监听队列分流、nginx 的 mutex 与 fd 传递方案,量化各自的性能差异与适用条件,并解释为什么云原生网关几乎清一色选择 SO_REUSEPORT。
后端技术 精选 · 原创 · 11-3 阅读 83·访客 83
智能体生态观察 · 第 76 篇|销售与营销智能体:线索、触达与个性化边界
销售与营销是最早被智能体改造的收入职能,也最容易越过个性化与骚扰的红线。本篇逐环拆解触达链的自动化现状,区分回复率提升里的质量与数量来源,盘点过滤器军备竞赛与身份披露、触达许可、数据来源三条红线,并观察 CRM 平台与独立创业公司的卡位战。
智能体 精选 · 原创 · 3天前 阅读 12·访客 12
索引的备份与全量重建:灾备不是可选项
向量索引损坏、误删、迁移失败时,恢复能力取决于三件事:源数据能否重放、重建要多久、重建期间用什么服务。本文讲灾备三要素与恢复目标口径、重建流水线的分段耗时与并行化、降级形态与切换校验,主张灾备的验收标准是演练过而不是设计过。
后端技术 精选 · 原创 · 3天前 阅读 10·访客 10
一篇读懂容量规划:从 QPS 到机器数的推算
「大促要多少台机器?」——容量规划是每个架构师的必答题。从业务目标(PV/UV)到技术指标(QPS),从单机压测到资源推算,从余量设计到成本优化——容量规划是「把业务翻译成机器」的工程学。
后端技术 精选 · 原创 · 11-5 阅读 68·访客 67
企业 AI 采购的 TCO 账:从 POC 陷阱到规模化投产
企业 AI 项目的真实死亡率惊人:大量 POC(概念验证)死在规模化的路上——不是技术不行,是 TCO(总拥有成本)的账没算清。把企业 AI 的成本结构、POC 陷阱与规模化清单讲清,这可能是企业数字化老兵最需要的一篇。
行业动态 精选 · 原创 · 11-5 阅读 58·访客 58
AI 保险与安全的市场化:网络安全险之后,AI 险来了
网络安全险(Cyber Insurance)用了二十年把安全从成本变成可保资产。AI 险正在走同一条路:幻觉责任险、AI 治理险、模型失效险——保险业的精算介入,会给 AI 安全带来「市场化定价」的第三道治理力量。
行业动态 精选 · 原创 · 11-5 阅读 50·访客 50
开源向量数据库深度对比:Qdrant、Weaviate、Milvus 与 Chroma
向量数据库是 RAG 的地基,开源方案有四巨头:Qdrant 的 Rust 性能、Weaviate 的模块化、Milvus 的云原生规模化、Chroma 的极简开发体验。本篇从架构、性能、生态与运维四个维度深度对比,帮你选对地基。
一叶一世界 精选 · 原创 · 11-4 阅读 79·访客 79