搜索:逻辑推理

共命中 50 条(服务端检索)
开放世界与封闭世界:本体推理何时能说“不存在”
OWL 中没有一条关系,不代表现实中没有这件事;查询没返回,也不等于逻辑否定。本文区分本体推理、图查询和约束校验,并给出把“未知”变成可审计“不存在”所需的覆盖范围、时点与证据条件。
一叶一世界 精选 · 原创 · 今天 阅读 3·访客 3
大模型价格战的底层逻辑:推理成本是怎么降下来的
同等能力的模型 API 价格在几年间下降了一个数量级以上,这不是赔本赚吆喝,而是推理成本结构性下降的传导。本文拆解大模型服务的成本结构,讲清硬件、推理效率、MoE 架构与规模化利用率四条降本路径,并给出开发者应对建议。
行业动态 精选 · 原创 · 10-6 阅读 652·访客 582
SHACL 校验与推理运行时:让知识库讲规矩
校验不是建模期的一次性检查,而是知识库的常驻闸门。本篇拆解 SHACL 运行时链路:Shapes 约束评估、校验报告聚合、分级处置,以及 OWL 推理器做一致性检查、实例分类与物化的选型权衡,并厘清开放世界与闭世界语义在生产运行时的分工。
后端技术 精选 · 用户投稿 · 2天前 阅读 11·访客 11
AI 公司的估值逻辑:从收入倍数到算力资产
AI 公司怎么估值?传统的软件估值(收入倍数、 Rule of 40)在 AI 公司身上频频失灵:训练成本前置、推理成本随收入增长、护城河存疑。本文讲清 AI 公司估值的真实逻辑——为什么「收入倍数」要打折、「算力资产」怎么记账、以及投资人真正在为什么付钱。
行业动态 精选 · 原创 · 11-3 阅读 72·访客 65
一篇读懂 continuous batching:推理吞吐的批处理艺术
推理吞吐的分水岭在批处理调度:静态 batching 为什么浪费(长短请求互相等),continuous batching 的 iteration 级调度怎么做到完成的即走、新请求随到随插,它与 PagedAttention 的共生关系,以及批大小与等待窗口的取舍。
一叶一世界 精选 · 原创 · 11-11 阅读 70·访客 68
AI 推理链的可验证性:从思维链到形式化验证的可靠性研究
推理链可信吗?从 Lanham 忠实性实验、CoT 掩蔽风险,到 Lean 形式化证明与 AlphaGeometry 的 IMO 级成绩,梳理推理验证技术的完整谱系。
研究前沿 精选 · 原创 · 11-9 阅读 54·访客 54
过程监督:奖励答案之外,还要奖励每一步推理
结果监督只看「答案对不对」,过程监督盯着「每一步推理对不对」——OpenAI 的「Let's Verify Step by Step」让过程奖励模型(PRM)成为推理对齐的主流技术。过程监督为什么能干掉reward hacking,以及它的工程代价。
研究前沿 精选 · 原创 · 11-5 阅读 71·访客 71
智能体的投资趋势:资本流向、估值逻辑与退出路径
资本怎么看智能体:本文拆解 2025 年以来资金流向应用层与 Agent 赛道的画像、从 ARR 倍数到人类替代定价的估值逻辑迁移、POC 收入与 Agent washing 的泡沫之辩,以及并购回暖与 IPO 窗口的退出路径。
智能体 精选 · 原创 · 11-5 阅读 56·访客 56
推理服务的 SLA 工程:SLO、错误预算与容量规划
推理服务向用户承诺「99.9% 可用、P99 延迟 2 秒」——承诺的背后是一套 SLA 工程:SLO 的定义、错误预算的运营、容量规划的科学。本篇拆解推理服务 SLA 的特有指标(TTFT/TPOT 的分位数)、错误预算的纪律、以及容量规划的三步法。
大模型 精选 · 原创 · 11-4 阅读 48·访客 48
边缘推理的硬件选型:Jetson、RK3588 与开发板生态
在边缘设备上跑 LLM,硬件怎么选?Jetson Orin、RK3588、Hailo、以及手机芯片——本篇拆解边缘推理硬件的算力、内存与生态对比,给出「按模型规模选硬件」的决策框架,以及边缘部署区别于云端的工程要点。
大模型 精选 · 原创 · 11-4 阅读 61·访客 61
一篇读懂 vLLM:PagedAttention 与连续批处理怎么把推理吞吐翻几倍
同一张 GPU,用 naive 推理脚本与用 vLLM,吞吐可以差 10 倍以上——差距的来源是两项工程创新:PagedAttention(显存的分页管理)与连续批处理(请求的动态编排)。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。
大模型 精选 · 原创 · 11-3 阅读 66·访客 66
推理优化的产业地图:让大模型跑得更快更便宜的手艺人们
大模型价格战的背后(本库《价格战》),站着一条被低估的产业链:推理优化产业——量化、编译器、KV 缓存优化、投机解码、专用推理引擎。它不训练模型,却决定了模型的交付成本,是「价格战能打多低」的真正决定者。本文画一张推理优化产业的地图,讲清每一格的手艺与玩家。
行业动态 精选 · 原创 · 11-3 阅读 60·访客 59
隐式推理与潜空间思考:不写思维链,模型能在「脑内」推理吗
思维链让模型把思考写成文字,但文字真的是推理的必要载体吗?COCONUT(链式连续思维)让模型直接在隐藏状态里「想」,跳过语言化的中间步骤——效率与能力的权衡揭开了「语言是不是思维的枷锁」这条研究线。本篇拆解隐式推理的动机、COCONUT 的机制、潜空间推理的进展与局限。
研究前沿 精选 · 原创 · 11-3 阅读 45·访客 45
一篇读懂 llama.cpp 与本地推理:一台笔记本怎么跑起大模型
llama.cpp 是本地推理生态的地基:纯 C/C++ 实现、无依赖、Mac/Windows/Linux/CPU 都能跑。本篇拆解它的技术路线(GGUF 格式、量化内核、异构加速)、本地推理的完整决策链(硬件→量化档位→引擎选择)、以及 ollama/LM Studio 这类「易用层」与 llama.cpp 的关系。
大模型 精选 · 原创 · 11-3 阅读 68·访客 67
推理模型深度解析:从 o1 的豪赌到 RLVR,大模型是怎么学会「多想一会儿」的
2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%,2025 年 1 月 DeepSeek-R1 把整套方法开源复现,到 2026 年 10 月,推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线,拆解推理模型的完整炼成路径,也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。
大模型 精选 · 原创 · 10-9 阅读 490·访客 471
推理模型怎么用:什么时候该让模型「想一想」
OpenAI、Anthropic、Google 三家官方文档一致把推理模型指向数学、编程、复杂调试与长程智能体任务,而简单分类、低延迟与高吞吐场景不值得开思考。本文梳理三家的思考参数与档位选择,算清「思考 token 按输出计费」的成本账,给出一套 effort 档位取舍与调参的实用框架。
大模型 精选 · 原创 · 10-7 阅读 425·访客 418
思维链为什么有效:推理时计算的研究脉络
「让我们一步步思考」为什么能让模型答对更多题?本文梳理思维链与推理时计算的研究脉络:从 few-shot 与 zero-shot 提示,到计算外化的核心解释,再到自一致性、结果奖励与过程奖励的分野,最后讨论假推理与验证瓶颈两条边界。
研究前沿 精选 · 原创 · 10-6 阅读 629·访客 629
算力芯片格局速览:GPU、ASIC 与推理卡的分工
芯片发布一场接一场,参数眼花缭乱。本文不评具体产品,而是给一套分类框架:GPU 凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么,以及读芯片新闻时先问的三个问题。
行业动态 精选 · 原创 · 10-6 阅读 599·访客 597
PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐翻近7倍
思邈* 2026-09-24 22:17:48 来源:量子位 1.5台6000D跑赢1台B300! 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升,**GPU卡的采购成本、供给约束持续加剧。** AI推理…
开源项目 量子位 · 9-24 阅读 81·访客 80
开源盘古模型 openPangu-2.1-Pro 上线华为云,围绕 Agent 开发、AI 编码、推理优化方向能力升级
IT之家 11 月 15 日消息,华为云今日宣布,华为云 MaaS 模型即服务平台正式上线开源盘古模型 openPangu-2.1-Pro。 该模型围绕 **Agent 开发、AI 编码和推理优化**三大方向进行能力升级,在深度研究、鸿蒙系…
智能体 IT之家 · 4天前 阅读 17·访客 17
多跳推理 RAG:「A 和 B 有什么关系」需要检索两次的问题
桥接型与比较型问题的答案藏在两次检索的接力里——拆解查询分解、推理检索交错、束搜索、图遍历四种多跳范式,以及成本控制与「什么时候不要做」。
后端技术 精选 · 原创 · 11-9 阅读 67·访客 67
让模型看懂图表与几何:视觉推理研究的演进与瓶颈
从 ChartQA 的图表问答到 MathVista 的图文数学推理,再到「视觉盲」测试暴露的底层缺陷,梳理视觉推理评测五年演进与当前真正的技术瓶颈。
研究前沿 精选 · 原创 · 11-9 阅读 51·访客 51
智能体的部署形态竞争:serverless、常驻进程与边缘推理
无状态的 serverless、有状态的常驻进程、代码执行的隔离沙箱与延迟敏感的边缘推理,构成智能体部署的四种形态,本文从任务时长、会话状态与缓存命中率等维度比较它们的工程权衡。
智能体 精选 · 原创 · 11-5 阅读 63·访客 63
智能体的推理模式演进:ReAct、CoT 与自主规划的范式变迁
从思维链让思考显式化,到 ReAct 打通推理与行动闭环,再到自主规划与内化思考的推理模型崛起,梳理智能体推理范式的四次跃迁与任务模式匹配的工程经验。
智能体 精选 · 原创 · 11-5 阅读 58·访客 58
推理服务的弹性伸缩:冷启动、预热与 KPA 的伸缩艺术
LLM 推理服务的伸缩比普通服务难:副本启动要加载几十 GB 权重(冷启动分钟级)、显存装不下就想不加、流量是尖峰型。本篇拆解推理服务伸缩的三大难题与对策——模型加载的冷启动、基于指标的 KPA 伸缩、以及「预热」与「错峰」的运营手段。
大模型 精选 · 原创 · 11-4 阅读 50·访客 50
推理服务的压测方法:从基准工具到容量验证
「压测一下」在推理服务上远比传统服务复杂:压什么指标(TTFT/吞吐)、怎么模拟真实流量(长度分布)、用什么工具(vLLM benchmark、k6、自研)。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位,以及压测报告的正确打开方式。
大模型 精选 · 原创 · 11-4 阅读 54·访客 54
模型服务的多租户隔离:噪声、配额与公平
一套推理服务服务一百个客户:一个客户的高峰不能拖垮别人、每个客户有配额、资源分配要公平——多租户推理的三大课题。本篇拆解推理服务的多租户隔离技术(资源隔离与逻辑隔离)、配额与公平调度、以及噪声治理的工程手段。
大模型 精选 · 原创 · 11-4 阅读 45·访客 45
多模态推理的基础设施:VL 模型服务化的特殊工程
视觉语言模型(VLM)的服务化与纯文本模型不同:图像的预处理管线、多模态 KV 的显存压力、请求的异构性(图+文的组合)。本篇拆解多模态推理基础设施的特殊工程点——从请求处理到显存管理到成本核算。
大模型 精选 · 原创 · 11-4 阅读 46·访客 46
推理服务的灰度与模型热更新:不停机的模型迭代
模型每周迭代、服务不能停机——推理服务的「灰度发布」与「模型热更新」有自己的工程形态:蓝绿切换、流量灰度、多模型并存与热加载。本篇拆解推理服务模型迭代的四种模式,以及「切换时 KV Cache 怎么办」这个独有难题。
大模型 精选 · 原创 · 11-4 阅读 41·访客 41
DeepSeek 全面开源内部推理框架 DeepInfer:支撑 V4.1 Flash 线上服务,兼容英伟达与昇腾
DeepSeek 宣布全面开源支撑 V4.1 Flash 线上服务的内部推理框架 DeepInfer,支持推测解码、分布式推理等能力,兼容英伟达 GPU 与华为昇腾。
开源项目 联合早报 · 10-22 阅读 70·访客 69
GitHub Copilot 不再纯云端 AI 模型:Surface Laptop Ultra 本地推理吞吐量最高每秒 63 词元
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会中,微软宣布 GitHub Copilot 将在本月底前支持本地 AI 模型推理,**开发者可在云端…
开源项目 IT之家 · 10-8 阅读 63·访客 63
论文精读:DeepSeek-R1——纯强化学习怎么唤醒推理能力
精读 DeepSeek-R1 论文(arXiv 2501.12948):R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现;完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线,以及「小模型蒸馏优于直接 RL」的关键结论,全部数字溯源论文表 2、表 4 与蒸馏结果表。
研究前沿 精选 · 原创 · 10-7 阅读 1,078·访客 915
手机上的大模型:端侧推理的芯片、量化与落地现状
从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族,梳理 2026 年手机端侧大模型的硬件底座(NPU 算力与约 85 GB/s 的内存带宽瓶颈)、3B 级模型格局、4-bit 量化与主流端侧推理框架,以及哪些场景仍必须回云。
大模型 精选 · 原创 · 10-7 阅读 1,344·访客 1,037
一篇读懂 KV Cache:大模型推理加速的第一课
大模型逐 token 生成,注意力却要看全部历史,KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算,给出 KV Cache 显存的估算公式并代入典型 7B 配置,解释长上下文为何是推理瓶颈,并列出三个优化方向。
一叶一世界 精选 · 原创 · 10-6 阅读 459·访客 455
Velum:方便部署的CosyVoice推理程序]
Nala Ginrut 写道: HardenedLinux 最近发布了可用于推理CosyVoice的Velum,它用modern C++开发,编译成一个单一的可执行文件,方便部署。 CosyVoice是目前比较优秀的一款 TTS 模型,但其…
智能体 Solidot · 9-26 阅读 105·访客 105
DeepSeek-R1 开源:推理模型的'Sputnik 时刻'
DeepSeek 发布并开源 R1 推理模型,纯强化学习激发推理能力,性能比肩 OpenAI o1,API 价格仅为后者数十分之一,引发全球市场震动。
开源项目 精选 · DeepSeek · 2025-01-21 阅读 588·访客 586
OpenAI o1 问世:推理时计算开启新范式
o1 系列通过强化学习训练模型'先思考再回答',在数学、代码与科学推理上大幅跃升,开创了推理时扩展(Test-time Compute)的新 Scaling 维度。
研究前沿 精选 · OpenAI · 2024-09-12 阅读 875·访客 872
KV Cache 争夺战:从 MHA 到 MLA,推理显存是怎么一省再省的
大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token,整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史,算清每一代省下的账,讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价,以及 GQA 与 MLA 两大阵营至今未歇的路线之争。
大模型 精选 · 用户投稿 · 10-9 阅读 1,257·访客 1,214
「史上最严」湿实验预测基准发布!推理拉满、算力翻5倍也白搭
鹭羽* 2026-11-14 17:58:22 来源:量子位 斯坦福、哈佛、康奈尔……十余家顶尖团队齐坐一桌了 鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI 不ber,现在的基准测试都进化到酱婶了??? 这回不刷题了,就直接给AI…
研究前沿 量子位 · 5天前 阅读 21·访客 21
AI 数据中心的安全分区:训练网与推理网的隔离
训练数据敏感、推理面向公网,两者塞进同一个平面等于同时放大两种风险;本文给出训练网、推理网、办公网、管理网的四区模型,讲清跨区数据流动的闸门设计与常见违规的整改。
后端技术 精选 · 原创 · 11-11 阅读 63·访客 63
Scaling Law 的边界:数据墙、算力墙与推理 Scaling 的新战场
预训练 Scaling 撞上数据墙与算力墙:公共语料储量估算、推理感知的缩放修正、o1 之后测试时计算的新缩放曲线与三墙之下的产业走向。
研究前沿 精选 · 原创 · 11-9 阅读 64·访客 64
把本体论讲明白:从一段 Turtle 到能推理、能校验的知识库
一个信贷知识库、五段可运行代码:本文用 rdflib、owlrl、pySHACL 与 HermiT(经 owlready2 调用)实测演示本体的三大能力——机器自动归类、业务规则校验、能力问题查询,并讲清 OWL 2 RL 物化与 DL 推理器的分界。全部代码本地跑通(Python 3.13,2026-11-05)。
一叶一世界 精选 · 原创 · 11-5 阅读 65·访客 65
ComfyUI(Comfy-Org/ComfyUI):把扩散模型推理拆成节点图的开源引擎,FLUX 3 Klein 首发即支持,8GB 显存跑 5.6B 模型
单日涨星破千的老牌项目迎来第二春:三天连发 v0.41/v0.42 接入 FLUX 3 Klein 与 MOSS-image;comfy-aimdo 异步权重流式让 4GB 显存也能跑大模型;执行引擎增量缓存、量化支持 fp8/nvfp4/int8。本文拆解架构、场景与横向对比。
开源项目 精选 · 用户投稿 · 10-20 💬 2 阅读 208·访客 135
一篇读懂 KV Cache:推理显存的大头是怎么省下来的
自回归生成每产出一个 token,都要回看之前所有 token 的 K 与 V——不缓存,计算量随序列平方爆炸;缓存了,显存又成了新瓶颈。本文算清 KV cache 的显存账(Llama-2-7B 4096 上下文约 2 GB),拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法,以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。
一叶一世界 精选 · 原创 · 10-8 阅读 1,369·访客 1,362
从 AlphaProof 到 IMO 金牌:AI 数学推理为什么死磕形式化验证
2024 年 AlphaProof 以 28/42 拿下奥数银牌,靠的是在 Lean 里写机器可验证的证明;2025 年 Gemini 与 OpenAI 模型以自然语言证明达到金牌线。为什么 DeepMind 先走了一年形式化的「弯路」?陶哲轩的 Lean 实践给出了另一重答案。
研究前沿 精选 · 原创 · 10-7 阅读 707·访客 674
谷歌TPU跑Kimi比英伟达GPU快57%!用的还是DeepSeek推理框架
听雨* 2026-09-26 15:12:05 来源:量子位 vLLM人马创业公司团队出品 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 16块谷歌TPU v7跑Kimi K3,每秒跑出了709个Token,比老黄的GB200快了…
研究前沿 量子位 · 9-26 阅读 52·访客 52
金融专题 02|房子作为资产:租售比、房价收入比与长期逻辑
房子占中国城镇家庭总资产的近六成,但「有房」与「房产是好的投资」是两回事。本文用两把尺——租售比(50 城平均 2.27%、一线仅 1.66%)与房价收入比(百城 10.3、深圳 34.8)——审视房产的估值,算清 300 万房子的租金与按揭负利差,并梳理人口、城镇化与政策表述变化之下的长期逻辑。
一叶一世界 精选 · 原创 · 10-17 阅读 223·访客 221
一篇读懂癌症筛查:早发现的逻辑、体检套餐与三大癌的分层路径
「癌症早发现早治疗」人人会说,但筛查不是「查得越多越好」——它有严格的适应人群、间隔与手段。胃镜肠镜、低剂量 CT、HPV 筛查这三大路径怎么分层、体检套餐的「肿瘤标志物全套」为什么经常制造恐慌——把筛查的逻辑讲透。
一叶一世界 精选 · 原创 · 11-5 阅读 79·访客 78
一篇读懂腰椎:椎间盘、久坐与腰痛的逻辑
腰椎间盘突出不是「骨头突出」,是椎间盘这个「减震垫」的破损与泄漏——而久坐对它的压力比站立更大。本篇拆解腰椎的结构与承重逻辑、椎间盘退变与突出的机制、坐姿与搬重物的力学、以及腰痛防治里「练什么」与「别做什么」。
一叶一世界 精选 · 原创 · 11-4 阅读 54·访客 54
尿酸与痛风:嘌呤代谢、结晶与降尿酸的逻辑
尿酸高不是「吃出来的病」:约八成尿酸来自体内代谢,忌口有用但有限。本文从嘌呤代谢讲起,讲清 420 μmol/L 阈值的由来、结晶触发 NLRP3 炎症风暴的机制、急性抗炎与缓解降尿酸的两套逻辑、三种降尿酸药物的适用人群,以及豆制品、果糖、啤酒这些饮食误区的真相。
一叶一世界 精选 · 原创 · 10-20 阅读 171·访客 168