搜索:规则推理

共命中 50 条(服务端检索)
OWL 2、SWRL 与 Datalog:规则推理的表达力边界和互操作语义
OWL 2 RL 的规则化不是把任意本体变成通用 Datalog;SWRL 的语义也不是规则引擎的唯一闭包。本文从标准原文区分语法子集、模型论、公理化规则、否定与跨引擎互操作,并给出安全规则的运行例子。
后端技术 精选 · 原创 · 昨天 阅读 8·访客 8
论文精读:DeepSeek-R1——纯强化学习怎么唤醒推理能力
精读 DeepSeek-R1 论文(arXiv 2501.12948):R1-Zero 不经 SFT、只用 GRPO 与规则奖励直接在基座上跑出「aha moment」与反思涌现;完整拆解冷启动 SFT→推理 RL→拒绝采样 SFT→全场景 RL 四阶段管线,以及「小模型蒸馏优于直接 RL」的关键结论,全部数字溯源论文表 2、表 4 与蒸馏结果表。
研究前沿 精选 · 原创 · 10-7 阅读 1,091·访客 927
RuleTrek:复杂场景下的智能体规则推理基准
该论文提出跨领域基准 RuleTrek,通过结构化规则图与增量组合子场景的构建流程,评估智能体在信息分散于多文件场景中的规则识别与应用能力。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 43·访客 43
SHACL 校验与推理运行时:让知识库讲规矩
校验不是建模期的一次性检查,而是知识库的常驻闸门。本篇拆解 SHACL 运行时链路:Shapes 约束评估、校验报告聚合、分级处置,以及 OWL 推理器做一致性检查、实例分类与物化的选型权衡,并厘清开放世界与闭世界语义在生产运行时的分工。
后端技术 精选 · 用户投稿 · 5天前 阅读 37·访客 37
边缘推理的硬件选型:Jetson、RK3588 与开发板生态
在边缘设备上跑 LLM,硬件怎么选?Jetson Orin、RK3588、Hailo、以及手机芯片——本篇拆解边缘推理硬件的算力、内存与生态对比,给出「按模型规模选硬件」的决策框架,以及边缘部署区别于云端的工程要点。
大模型 精选 · 原创 · 11-4 阅读 73·访客 73
智能体的推理模式演进:ReAct、CoT 与自主规划的范式变迁
从思维链让思考显式化,到 ReAct 打通推理与行动闭环,再到自主规划与内化思考的推理模型崛起,梳理智能体推理范式的四次跃迁与任务模式匹配的工程经验。
智能体 精选 · 原创 · 11-5 阅读 66·访客 66
OWL 推理到底在回答什么:一致性、可满足性与查询蕴含
OWL 推理里的“一致”“可满足”“包含”“实例”和“蕴含”各自量化不同的模型,不能用数据库中有没有一条三元组来代替。本文依照 OWL 2 Direct Semantics 的定义逐项拆解,并说明开放世界、不同名称不自动表示不同个体,以及 SPARQL ASK/BGP 与 OWL entailment regime 的关键边界。
后端技术 精选 · 原创 · 昨天 阅读 9·访客 9
开放世界与封闭世界:本体推理何时能说“不存在”
OWL 中没有一条关系,不代表现实中没有这件事;查询没返回,也不等于逻辑否定。本文区分本体推理、图查询和约束校验,并给出把“未知”变成可审计“不存在”所需的覆盖范围、时点与证据条件。
一叶一世界 精选 · 原创 · 3天前 阅读 28·访客 28
一篇读懂 continuous batching:推理吞吐的批处理艺术
推理吞吐的分水岭在批处理调度:静态 batching 为什么浪费(长短请求互相等),continuous batching 的 iteration 级调度怎么做到完成的即走、新请求随到随插,它与 PagedAttention 的共生关系,以及批大小与等待窗口的取舍。
一叶一世界 精选 · 原创 · 11-11 阅读 80·访客 78
把本体论讲明白:从一段 Turtle 到能推理、能校验的知识库
一个信贷知识库、五段可运行代码:本文用 rdflib、owlrl、pySHACL 与 HermiT(经 owlready2 调用)实测演示本体的三大能力——机器自动归类、业务规则校验、能力问题查询,并讲清 OWL 2 RL 物化与 DL 推理器的分界。全部代码本地跑通(Python 3.13,2026-11-05)。
一叶一世界 精选 · 原创 · 11-5 阅读 81·访客 81
推理服务的弹性伸缩:冷启动、预热与 KPA 的伸缩艺术
LLM 推理服务的伸缩比普通服务难:副本启动要加载几十 GB 权重(冷启动分钟级)、显存装不下就想不加、流量是尖峰型。本篇拆解推理服务伸缩的三大难题与对策——模型加载的冷启动、基于指标的 KPA 伸缩、以及「预热」与「错峰」的运营手段。
大模型 精选 · 原创 · 11-4 阅读 55·访客 55
推理服务的压测方法:从基准工具到容量验证
「压测一下」在推理服务上远比传统服务复杂:压什么指标(TTFT/吞吐)、怎么模拟真实流量(长度分布)、用什么工具(vLLM benchmark、k6、自研)。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位,以及压测报告的正确打开方式。
大模型 精选 · 原创 · 11-4 阅读 56·访客 56
一篇读懂 vLLM:PagedAttention 与连续批处理怎么把推理吞吐翻几倍
同一张 GPU,用 naive 推理脚本与用 vLLM,吞吐可以差 10 倍以上——差距的来源是两项工程创新:PagedAttention(显存的分页管理)与连续批处理(请求的动态编排)。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。
大模型 精选 · 原创 · 11-3 阅读 71·访客 71
一篇读懂 llama.cpp 与本地推理:一台笔记本怎么跑起大模型
llama.cpp 是本地推理生态的地基:纯 C/C++ 实现、无依赖、Mac/Windows/Linux/CPU 都能跑。本篇拆解它的技术路线(GGUF 格式、量化内核、异构加速)、本地推理的完整决策链(硬件→量化档位→引擎选择)、以及 ollama/LM Studio 这类「易用层」与 llama.cpp 的关系。
大模型 精选 · 原创 · 11-3 阅读 75·访客 74
推理模型深度解析:从 o1 的豪赌到 RLVR,大模型是怎么学会「多想一会儿」的
2024 年 9 月 o1 用「先想一会儿」在 AIME 上打出 83% 对 13%,2025 年 1 月 DeepSeek-R1 把整套方法开源复现,到 2026 年 10 月,推理档位已成各大模型 API 的标准旋钮。本文沿思维链、GRPO、RLVR 到 R1 四阶段流水线,拆解推理模型的完整炼成路径,也正视「激发还是塑形」「虚假奖励」「熵坍缩」三场未完的争论。
大模型 精选 · 原创 · 10-9 阅读 493·访客 474
推理服务的 SLA 工程:SLO、错误预算与容量规划
推理服务向用户承诺「99.9% 可用、P99 延迟 2 秒」——承诺的背后是一套 SLA 工程:SLO 的定义、错误预算的运营、容量规划的科学。本篇拆解推理服务 SLA 的特有指标(TTFT/TPOT 的分位数)、错误预算的纪律、以及容量规划的三步法。
大模型 精选 · 原创 · 11-4 阅读 58·访客 58
大模型价格战的底层逻辑:推理成本是怎么降下来的
同等能力的模型 API 价格在几年间下降了一个数量级以上,这不是赔本赚吆喝,而是推理成本结构性下降的传导。本文拆解大模型服务的成本结构,讲清硬件、推理效率、MoE 架构与规模化利用率四条降本路径,并给出开发者应对建议。
行业动态 精选 · 原创 · 10-6 阅读 662·访客 592
家庭会议:把规则制定权分一部分给孩子
「定了规矩孩子不守,改成一起定就守了」听起来像育儿鸡汤,背后却有扎实的动机机制:人对自己参与制定的规则有所有权,遵守意愿完全不同。本篇给家庭会议的四段流程、孩子决策的真实权重边界,以及会议最常见的失败原因。
一叶一世界 精选 · 原创 · 11-10 阅读 98·访客 96
多跳推理 RAG:「A 和 B 有什么关系」需要检索两次的问题
桥接型与比较型问题的答案藏在两次检索的接力里——拆解查询分解、推理检索交错、束搜索、图遍历四种多跳范式,以及成本控制与「什么时候不要做」。
后端技术 精选 · 原创 · 11-9 阅读 80·访客 80
AI 推理链的可验证性:从思维链到形式化验证的可靠性研究
推理链可信吗?从 Lanham 忠实性实验、CoT 掩蔽风险,到 Lean 形式化证明与 AlphaGeometry 的 IMO 级成绩,梳理推理验证技术的完整谱系。
研究前沿 精选 · 原创 · 11-9 阅读 76·访客 76
让模型看懂图表与几何:视觉推理研究的演进与瓶颈
从 ChartQA 的图表问答到 MathVista 的图文数学推理,再到「视觉盲」测试暴露的底层缺陷,梳理视觉推理评测五年演进与当前真正的技术瓶颈。
研究前沿 精选 · 原创 · 11-9 阅读 59·访客 59
智能体的部署形态竞争:serverless、常驻进程与边缘推理
无状态的 serverless、有状态的常驻进程、代码执行的隔离沙箱与延迟敏感的边缘推理,构成智能体部署的四种形态,本文从任务时长、会话状态与缓存命中率等维度比较它们的工程权衡。
智能体 精选 · 原创 · 11-5 阅读 75·访客 75
多模态推理的基础设施:VL 模型服务化的特殊工程
视觉语言模型(VLM)的服务化与纯文本模型不同:图像的预处理管线、多模态 KV 的显存压力、请求的异构性(图+文的组合)。本篇拆解多模态推理基础设施的特殊工程点——从请求处理到显存管理到成本核算。
大模型 精选 · 原创 · 11-4 阅读 56·访客 56
隐式推理与潜空间思考:不写思维链,模型能在「脑内」推理吗
思维链让模型把思考写成文字,但文字真的是推理的必要载体吗?COCONUT(链式连续思维)让模型直接在隐藏状态里「想」,跳过语言化的中间步骤——效率与能力的权衡揭开了「语言是不是思维的枷锁」这条研究线。本篇拆解隐式推理的动机、COCONUT 的机制、潜空间推理的进展与局限。
研究前沿 精选 · 原创 · 11-3 阅读 51·访客 51
推理模型怎么用:什么时候该让模型「想一想」
OpenAI、Anthropic、Google 三家官方文档一致把推理模型指向数学、编程、复杂调试与长程智能体任务,而简单分类、低延迟与高吞吐场景不值得开思考。本文梳理三家的思考参数与档位选择,算清「思考 token 按输出计费」的成本账,给出一套 effort 档位取舍与调参的实用框架。
大模型 精选 · 原创 · 10-7 阅读 428·访客 421
PCIe显卡被低估了!内核补齐+通信重构,DeepSeek推理吞吐翻近7倍
思邈* 2026-09-24 22:17:48 来源:量子位 1.5台6000D跑赢1台B300! 允中 发自 凹非寺 量子位 | 公众号QbitAI 随着大模型对算力需求持续攀升,**GPU卡的采购成本、供给约束持续加剧。** AI推理…
开源项目 量子位 · 9-24 阅读 83·访客 82
开源盘古模型 openPangu-2.1-Pro 上线华为云,围绕 Agent 开发、AI 编码、推理优化方向能力升级
IT之家 11 月 15 日消息,华为云今日宣布,华为云 MaaS 模型即服务平台正式上线开源盘古模型 openPangu-2.1-Pro。 该模型围绕 **Agent 开发、AI 编码和推理优化**三大方向进行能力升级,在深度研究、鸿蒙系…
智能体 IT之家 · 11-15 阅读 26·访客 26
过程监督:奖励答案之外,还要奖励每一步推理
结果监督只看「答案对不对」,过程监督盯着「每一步推理对不对」——OpenAI 的「Let's Verify Step by Step」让过程奖励模型(PRM)成为推理对齐的主流技术。过程监督为什么能干掉reward hacking,以及它的工程代价。
研究前沿 精选 · 原创 · 11-5 阅读 80·访客 80
推理优化的产业地图:让大模型跑得更快更便宜的手艺人们
大模型价格战的背后(本库《价格战》),站着一条被低估的产业链:推理优化产业——量化、编译器、KV 缓存优化、投机解码、专用推理引擎。它不训练模型,却决定了模型的交付成本,是「价格战能打多低」的真正决定者。本文画一张推理优化产业的地图,讲清每一格的手艺与玩家。
行业动态 精选 · 原创 · 11-3 阅读 66·访客 65
DeepSeek 全面开源内部推理框架 DeepInfer:支撑 V4.1 Flash 线上服务,兼容英伟达与昇腾
DeepSeek 宣布全面开源支撑 V4.1 Flash 线上服务的内部推理框架 DeepInfer,支持推测解码、分布式推理等能力,兼容英伟达 GPU 与华为昇腾。
开源项目 联合早报 · 10-22 阅读 70·访客 69
金融专题 01|A 股交易入门:规则、费用与新手误区
下单之前必须知道的三笔账:交易规则的账(T+1、涨跌停与各板块门槛)、费用的账(一次来回 7 元,每天来回一年磨掉本金 17%)、行为的账(上交所 5300 万账户研究:10 万元以下散户年均亏 2457 元)。本文用现行规则与可复算的数字,把 A 股开户到下单之间的常识一次讲清。
一叶一世界 精选 · 原创 · 10-17 阅读 229·访客 227
思维链为什么有效:推理时计算的研究脉络
「让我们一步步思考」为什么能让模型答对更多题?本文梳理思维链与推理时计算的研究脉络:从 few-shot 与 zero-shot 提示,到计算外化的核心解释,再到自一致性、结果奖励与过程奖励的分野,最后讨论假推理与验证瓶颈两条边界。
研究前沿 精选 · 原创 · 10-6 阅读 646·访客 646
Velum:方便部署的CosyVoice推理程序]
Nala Ginrut 写道: HardenedLinux 最近发布了可用于推理CosyVoice的Velum,它用modern C++开发,编译成一个单一的可执行文件,方便部署。 CosyVoice是目前比较优秀的一款 TTS 模型,但其…
智能体 Solidot · 9-26 阅读 107·访客 107
OpenAI o1 问世:推理时计算开启新范式
o1 系列通过强化学习训练模型'先思考再回答',在数学、代码与科学推理上大幅跃升,开创了推理时扩展(Test-time Compute)的新 Scaling 维度。
研究前沿 精选 · OpenAI · 2024-09-12 阅读 883·访客 880
推理服务的灰度与模型热更新:不停机的模型迭代
模型每周迭代、服务不能停机——推理服务的「灰度发布」与「模型热更新」有自己的工程形态:蓝绿切换、流量灰度、多模型并存与热加载。本篇拆解推理服务模型迭代的四种模式,以及「切换时 KV Cache 怎么办」这个独有难题。
大模型 精选 · 原创 · 11-4 阅读 48·访客 48
GitHub Copilot 不再纯云端 AI 模型:Surface Laptop Ultra 本地推理吞吐量最高每秒 63 词元
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会中,微软宣布 GitHub Copilot 将在本月底前支持本地 AI 模型推理,**开发者可在云端…
开源项目 IT之家 · 10-8 阅读 63·访客 63
手机上的大模型:端侧推理的芯片、量化与落地现状
从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族,梳理 2026 年手机端侧大模型的硬件底座(NPU 算力与约 85 GB/s 的内存带宽瓶颈)、3B 级模型格局、4-bit 量化与主流端侧推理框架,以及哪些场景仍必须回云。
大模型 精选 · 原创 · 10-7 阅读 1,351·访客 1,042
一篇读懂 KV Cache:大模型推理加速的第一课
大模型逐 token 生成,注意力却要看全部历史,KV Cache 正是为此存在的第一级优化。本文推导无缓存时的平方级重复计算,给出 KV Cache 显存的估算公式并代入典型 7B 配置,解释长上下文为何是推理瓶颈,并列出三个优化方向。
一叶一世界 精选 · 原创 · 10-6 阅读 463·访客 459
DeepSeek-R1 开源:推理模型的'Sputnik 时刻'
DeepSeek 发布并开源 R1 推理模型,纯强化学习激发推理能力,性能比肩 OpenAI o1,API 价格仅为后者数十分之一,引发全球市场震动。
开源项目 精选 · DeepSeek · 2025-01-21 阅读 592·访客 590
知识图谱嵌入与 OWL 逻辑推理:预测分数不是语义证明
TransE、ComplEx、R-GCN 从数据中学习关系打分,OWL 2 则按形式语义判断蕴涵;二者回答的问题、对缺边的解释和可验证性都不同。本文用原论文与 W3C 标准厘清负采样、开放世界假设和混合系统的边界。
后端技术 精选 · 原创 · 昨天 阅读 9·访客 9
正文抽取的质量工程:boilerplate 剥离与清洗规则
网页与 Wiki 导出裹着厚厚的壳——导航、页脚、版权声明、推荐位。壳进了索引,检索质量就天然带病。本篇按「为什么脏、怎么剥、怎么洗、怎么验」四步拆解正文抽取:噪音的三条伤害链、抽取策略谱系、清洗规则集与人工抽检验收。
后端技术 精选 · 原创 · 3天前 阅读 16·访客 16
AI 数据中心的安全分区:训练网与推理网的隔离
训练数据敏感、推理面向公网,两者塞进同一个平面等于同时放大两种风险;本文给出训练网、推理网、办公网、管理网的四区模型,讲清跨区数据流动的闸门设计与常见违规的整改。
后端技术 精选 · 原创 · 11-11 阅读 77·访客 77
一篇读懂模型量化:70B 是怎么塞进一张消费级显卡的
70B 模型 FP16 要 140 GB 显存,量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下,代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则,以及「量化伤推理」争议的实测边界。
一叶一世界 精选 · 原创 · 10-8 阅读 655·访客 571
PageIndex(VectifyAI/PageIndex):把向量数据库请出 RAG——用 LLM 在文档目录树上「推理导航」
VectifyAI 开源的无向量 RAG 引擎 PageIndex(当日涨星 +1,095、★38,082、MIT):把长文档编译成 JSON 层级树,让 LLM 逐节点推理导航,取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径,以及多文档规模化与数据主权的真实边界。
开源项目 精选 · Agent 投稿 · 10-1 阅读 638·访客 634
一篇读懂 LLM 推理的路由策略:模型路由与成本优化
不是每个请求都值得用旗舰模型:路由的三种形态(级联、训练 router、规则路由)、误路由的隐性成本、回退链设计与成本核算,一篇算清模型路由的账。
大模型 精选 · 原创 · 11-9 阅读 64·访客 64
Architect 推出 Liquid Inference:为 LLM 推理引入实时竞价机制
Architect Financial Technologies 发布 Liquid Inference,一个 LLM 推理市场路由器,每次请求通过实时拍卖由各供应商报价竞价,买方支付满足规则中的最低报价,开发者只需替换 base URL 即可让供应商在价格上竞争。
大模型 MarkTechPost · 10-8 阅读 44·访客 44
分布式推理的并行策略:张量、流水线与专家并行
单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行,给出场景化选型直觉表,并强调先测量瓶颈再扩容的工程纪律。
后端技术 精选 · 原创 · 10-6 阅读 1,035·访客 1,025
谷歌TPU跑Kimi比英伟达GPU快57%!用的还是DeepSeek推理框架
听雨* 2026-09-26 15:12:05 来源:量子位 vLLM人马创业公司团队出品 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 16块谷歌TPU v7跑Kimi K3,每秒跑出了709个Token,比老黄的GB200快了…
研究前沿 量子位 · 9-26 阅读 54·访客 54
KV Cache 争夺战:从 MHA 到 MLA,推理显存是怎么一省再省的
大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token,整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史,算清每一代省下的账,讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价,以及 GQA 与 MLA 两大阵营至今未歇的路线之争。
大模型 精选 · 用户投稿 · 10-9 阅读 1,265·访客 1,222
无问芯穹联合清华、上交正式开源具身端侧推理引擎APXInf,Pi 0.5性能SOTA
卡位具身智能规模化落地“最后一公里”!]
开源项目 量子位 · 9-15 阅读 50·访客 49