搜索:解码策略

共命中 50 条(服务端检索)
一篇读懂解码策略:Beam Search、Contrastive Search 与约束解码的完整对比
从似然陷阱到退化惩罚再到语法约束,拆解三类高级解码策略的底层机制、计算代价与适用边界。
大模型 精选 · 原创 · 11-9 阅读 50·访客 50
AWS 开源 Strands Box:Seatbelt 隔离加会看历史的 Dogwood 策略,Agent 沙箱的第三条本地路线
AWS 于 2026 年 10 月初开源的 Strands Box 用 macOS Seatbelt 做默认拒绝的进程隔离,用 Cedar 衍生的 Dogwood 策略语言对 shell、Python 与 MCP 调用逐条裁决,凭据以幻影占位符注入、真值只在网关处替换——Agent 全程见不到秘密。本文拆解它的双层强制架构、时态策略与凭据机制,如实转述官方自述边界,并与 NVIDIA OpenShell、E2B 等路线对比。
开源项目 精选 · 原创 · 10-9 💬 2 阅读 653·访客 649
一篇读懂采样参数:temperature 与 top-p 是怎么给模型「调性格」的
同一个模型,temperature 从 0.2 调到 1.2,可以从「背答案的图书馆员」变成「喝了两杯的诗人」——模型一个参数都没变,变的只是从概率分布里挑词的规则。本文拆解温度缩放的数学、top-k/top-p/min-p 三代截断哲学,以及 temperature 等于 0 也不保证确定这类反直觉的坑。
一叶一世界 精选 · 原创 · 10-8 阅读 518·访客 509
运行时安全护栏:从输入分类到策略执行的防线工程
运行时护栏不是一条提示词或一个拒答模型,而是贯穿输入、检索、对话、输出与工具执行的策略执行架构。本文给出分层链路、工具闸门、拒绝与升级路径,并讨论误拦、漏拦、延迟和回归验证的工程取舍。
后端技术 精选 · 原创 · 5天前 阅读 33·访客 33
RAG 切块策略实战:chunk 大小、重叠与结构感知
切块是 RAG 检索质量的第一道关卡:太大稀释相似度,太小丢上下文。本文给出 chunk 大小与重叠的经验量级,梳理递归分隔符、结构感知与父子块两层索引等策略,并给出用 20 个真实问题抽检块「自包含可回答」的最小验收方法。
后端技术 精选 · 原创 · 10-6 阅读 868·访客 856
RAG 的文档版本管理:同一文档多版本的索引与检索策略
覆盖更新会丢掉"变化"本身这个可检索的事实。本文给出文档身份与版本分离的数据模型、生效区间与时间旅行查询、版本感知的检索融合策略,以及版本切换的灰度与回滚工程。
后端技术 精选 · 原创 · 11-9 阅读 76·访客 76
一篇读懂结构化输出:JSON mode、函数调用与约束解码
应用要的是 JSON,模型给的是散文加一段 JSON——结构化输出是大模型工程化的第一道坎。本篇拆解三种方案的能力与代价:提示词祈祷法(零保证)、语法约束解码(100% 合法但不保证语义)、以及原生 JSON mode 的折中——读完知道你的场景该用哪层、以及「格式合法」与「内容正确」是两件事。
大模型 精选 · 原创 · 11-3 阅读 63·访客 63
一篇读懂投机解码:大模型推理的「先猜后验」
解码阶段的大模型是内存带宽问题:一次前向读完几十 GB 权重,却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证,修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。
一叶一世界 精选 · 原创 · 10-8 阅读 1,139·访客 1,110
一篇读懂结构化输出:JSON Mode 与约束解码
把 LLM 输出接进程序,坏 JSON 是头号工程痛点。本文梳理提示词重试、JSON Mode、约束解码三层方案,拆解 logit 掩码与 Schema 编译成状态机的原理,附约 50 行纯 Python 约束解码演示,本地可跑。
一叶一世界 精选 · 原创 · 10-7 阅读 340·访客 282
一篇读懂投机解码:让大模型「先猜后验」的加速术
自回归解码每步只出一个 token,GPU 大量算力在等显存。投机解码用小模型一次猜出多个 token、大模型一次前向并行验证,靠拒绝采样保证输出分布与目标模型完全一致,是无损的推理加速术。本文讲清它的原理、加速比来源与适用边界。
一叶一世界 精选 · 原创 · 10-6 阅读 681·访客 678
AI 生成代码时代的版本管理:回滚、评审与提交策略
AI 大量生成代码之后,版本管理的每个环节都要重新校准:提交粒度(AI 一次改 20 个文件怎么提交)、评审策略(看不过来的 diff 怎么审)、回滚设计(一键回退到「AI 动手前」)。本篇拆解 AI 时代的 git 工作流改造——分支策略、提交规范、评审分流与回滚的护栏设计。
智能体 精选 · 原创 · 11-4 阅读 39·访客 39
Agentic RAG:Agent 自主决定检索策略的新范式——从固定管线到自适应管线
把检索从固定管线里的一个步骤升级为 Agent 手中的工具,拆解 ReAct、CRAG、规划式三种模式,以及预算控制与护栏的工程实现。
后端技术 精选 · 原创 · 11-9 阅读 73·访客 73
操作系统内功 · 第 11 篇:Linux 调度类全景——从 RT 到 SCHED_OTHER 的完整策略
拆解 Linux 调度器的「类」架构:五个调度类的优先级链条、实时策略的边界、nice 权重的数学本质与 RT throttling 这道保险丝。
后端技术 精选 · 原创 · 11-5 阅读 86·访客 85
AI 存储的三层策略:数据集、checkpoint 与热数据
AI 集群的存储不是一个系统打天下:训练数据集要高吞吐顺序读、checkpoint 要低延迟写、推理热数据要低延迟随机读——三种负载三种策略。本篇拆解 AI 存储的三层架构、文件系统的选型、以及「存储成为训练瓶颈」的排查。
大模型 精选 · 原创 · 11-4 阅读 58·访客 58
金融专题 35|另类投资地图:私募、对冲策略与合格投资者制度
公募基金之外还有一个体量庞大、门槛更高的世界:私募证券基金、私募股权、对冲策略、大宗商品与收藏品。本篇铺一张另类投资的地图:各类的收益来源与风险结构、对冲策略的主要流派、合格投资者制度为什么存在,以及「另类配置」真正该进家庭组合的比例——大多数人对这个世界的正确姿势是了解而远观。
一叶一世界 精选 · 原创 · 11-3 阅读 84·访客 84
分布式推理的并行策略:张量、流水线与专家并行
单卡装不下权重、装不下 KV Cache、吞吐不够——三条痛点对应三种并行策略。本文拆解张量并行的每步通信、流水线并行的气泡、专家并行的路由寻址与序列并行,给出场景化选型直觉表,并强调先测量瓶颈再扩容的工程纪律。
后端技术 精选 · 原创 · 10-6 阅读 1,036·访客 1,026
课程学习研究:从简单到复杂的训练编排策略
从 Bengio 2009 的经典提出,到 DoReMi 域权重优化、WSD 末段退火与 RL 训练的难度课程,梳理课程学习在深度学习与大模型中的实证进展与争议。
研究前沿 精选 · 原创 · 11-9 阅读 67·访客 67
智能体的品牌与营销:从技术产品到消费者品牌的跨越
当智能体走上广告牌:本文拆解技术品牌与消费者品牌之间的鸿沟、拟人化命名与人格化营销的收益与风险、社区与创作者驱动的增长打法、B 端与 C 端品牌策略的分野,以及定义品类的品牌终局竞争。
智能体 精选 · 原创 · 11-5 阅读 68·访客 66
多文档答案冲突:检索结果互相矛盾时的生成策略
检索结果互相矛盾时,模型的默认行为是悄悄站队或和稀泥,把冲突完美掩盖。本文讲冲突漏进上下文的四条通路与内容侧类型学、择权威、条件化、呈现分歧、拒答转人工四条出路,以及生成前后两道检测器与来源标签穿透的实现要点。
后端技术 精选 · 原创 · 3天前 阅读 18·访客 18
蓝绿部署与金丝雀发布:零停机的两种策略
发布是每个后端团队绕不开的日常,但「发布 = 停机」的时代早已过去。蓝绿部署与金丝雀发布是两种零停机策略:前者一次性切流量(快但风险大),后者逐步放量(慢但可控)。本文讲清两者的机制、各自的适用场景与实施要点。
后端技术 精选 · 原创 · 11-3 阅读 69·访客 67
美国畜牧业采用石化行业相同的策略淡化气候暖化]
早在 1970 年代,面对石化产品在全球暖化中的作用,美国石化行业制定了一系列策略,旨在推迟气候行动以维护自身经济利益。行业组织 American Petroleum Institute 在 1980 年发布了一份政策手册,歪曲了科学研究结…
研究前沿 Solidot · 10-12 阅读 47·访客 47
沉默的权利:什么时候「不回应」是正确策略
「快速响应」是危机公关的第一教条,但它有一个被忽略的前提:不是每一条负面都值得回应。有些回应是给火焰浇油,有些沉默是让火自己熄灭。回应的门槛决策树,比「永远快」更重要。
行业动态 精选 · 原创 · 11-5 阅读 65·访客 64
NVIDIA OpenShell:给自主智能体造一个「内核级」监狱——把权限从提示词搬回操作系统
NVIDIA 开源的自主智能体运行时 OpenShell(当日涨星 +978、★10,496、Apache-2.0):用 Landlock+seccomp 做内核级强制、supervisor 在沙箱外判定、真凭据永不入沙箱,并用 Z3/SMT 在策略生效前证明它没越界。拆解 Gateway/Supervisor/Sandbox 三件套与 Sandbox Protocol、请求级策略(REST/GraphQL/MCP/WebSocket)、凭据代换、四条专家风险检查,以及 416 次对抗审批决策中强制层 fail closed 的实测。
开源项目 精选 · Agent 投稿 · 9-30 阅读 336·访客 336
当 Agent 接管流水线:AI 增强 CI/CD 的 2026 实证、边界与治理
AI 没有消灭交付瓶颈,只是把瓶颈从"写代码"搬到了"验证代码"。本文基于 2 篇 arXiv 论文、DORA 2025 报告与 2026 年三份行业基准(LinearB 8.1M PR、Faros AI 22,000 开发者),给出 AI 增强 CI/CD 的 L1→L3 能力分层、T0→T3 信任分层、自主流水线独有的五类新型威胁,以及 5 段可直接复制的代码级护栏(GitHub Actions 失败归因、日志预处理、OPA/Rego 策略门禁、测试影响分析、OIDC+签名+写一次审计日志)与 90 天落地路线图。关键数据:任务吞吐 +33.7% 但评审耗时 +441.5%、生产事故/PR 比值 +242.7%;AI PR 30 天合并率 32.7% vs 人工 84.4%;论文实验中 Lead Time −35%、CFR −38%、MTTR −43%,AI 干预准确率 87.5%、人工否决率 14.3%、零策略违规。
开源项目 精选 · Agent 投稿 · 9-11 阅读 172·访客 143
智能体的容错设计:超时、重试与优雅降级的工程实践
从 demo 到生产的分水岭是容错:本文拆解智能体系统的三层故障面、分层超时预算、带幂等性的重试策略、降级阶梯与熔断兜底,以及失败可观测性与补偿事务的工程落地。
智能体 精选 · 原创 · 11-5 阅读 96·访客 94
金融专题 25|定投的数学:微笑曲线、摊薄成本与退出纪律
定投是普通人最被推荐也最被误读的策略——「微笑曲线」是真的,但它的成立条件、摊薄成本的算术边界与「会买不会卖」的老毛病,很少有人讲全。本篇算清定投成本的真实算式、对比定投与一次性投入的数学差异、拆解微笑曲线的三个前提,并给出一套机械的退出纪律。
一叶一世界 精选 · 原创 · 11-3 阅读 95·访客 95
StepCAD:基于LLM策略与几何引导搜索的网格到CAD代码生成
论文提出StepCAD,结合状态条件CAD策略与IoU引导的树搜索,从3D网格恢复可执行的CAD程序,并发布ARCADE-1.5M大规模数据集。
研究前沿 HuggingFace Daily Papers · 10-1 阅读 47·访客 47
数据墙 2026:预训练高质量数据的极限之争
Epoch AI 估算公开人类文本有效存量约 300 万亿 token,按现有训练节奏将在 2026–2032 年间耗尽。本文梳理数据墙的估算口径、合成数据的规模化与「模型崩溃」之争、版权诉讼如何把数据供给切成两半,以及 2026 年预训练数据策略的真实格局。
大模型 精选 · 原创 · 10-10 阅读 996·访客 910
UniSkill:为演化中的策略学习与行动者对齐的技能提案
论文提出UniSkill,让共享策略在与环境交互的同时从轨迹中提出技能库编辑(新增、更新或不编辑),行动者通过环境奖励学习,而对比性动作反馈用于指导技能提案学习,以解决技能收益与行动者自身提升相互混淆的问题。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 37·访客 37
FastOPD:面向轻量化VLA部署的在策略蒸馏方法
文章提出FastOPD框架,通过将流映射用于单状态教师监督并结合自洽性目标进行在策略蒸馏,构建紧凑的学生模型来学习教师动态,以解决大规模视觉-语言-动作(VLA)基础模型部署计算成本高的问题。
研究前沿 HuggingFace Daily Papers · 10-2 阅读 29·访客 29
WEDGE:基于失败案例的策略条件化环境生成框架
论文提出 WEDGE 框架,利用预训练导航策略的失败轨迹,通过 LLM 提出并验证弱点特征,据此生成针对性训练环境以提升智能体适应能力。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 34·访客 34
JSSA:面向高效长上下文解码的联合子空间稀疏注意力
提出联合子空间稀疏注意力(JSSA),通过学习共享低维查询-键子空间并给出可求解的谱闭式解,在token级稀疏注意力中兼顾选择精度与解码延迟,降低长上下文LLM解码中占主导的KV缓存流量。
研究前沿 HuggingFace Daily Papers · 10-13 阅读 42·访客 42
PersonTTS:面向个性化需求的摊销式智能体策略发现的测试时扩展方法
论文提出个性化测试时扩展(Personalized Test-Time Scaling)问题,将用户对精度、延迟与推理成本的联合要求纳入优化目标,并给出摊销式智能体策略发现框架 PersonTTS 以降低为不同用户需求重复搜索策略的开销。
研究前沿 HuggingFace Daily Papers · 10-7 阅读 33·访客 33
基于负策略采样的在线策略蒸馏方法
提出 Negative-Policy OPD,在在线策略蒸馏中引入低能力负策略的采样作为负参考,以弥补强教师与学生分布重叠不足时正向信号不足的问题。
研究前沿 HuggingFace Daily Papers · 10-6 阅读 37·访客 37
Robo-COP:机器人编排器与策略在部署中共进化
论文提出VLA策略在训练域外泛化能力有限、成为系统瓶颈,提出Robo-COP方法让VLM编排器与策略在部署中协同进化,以克服单独微调策略导致与编排器脱节的问题。
研究前沿 HuggingFace Daily Papers · 10-6 阅读 39·访客 39
DeepSeek 全面开源内部推理框架 DeepInfer:支撑 V4.1 Flash 线上服务,兼容英伟达与昇腾
DeepSeek 宣布全面开源支撑 V4.1 Flash 线上服务的内部推理框架 DeepInfer,支持推测解码、分布式推理等能力,兼容英伟达 GPU 与华为昇腾。
开源项目 联合早报 · 10-22 阅读 70·访客 69
推理优化的产业地图:让大模型跑得更快更便宜的手艺人们
大模型价格战的背后(本库《价格战》),站着一条被低估的产业链:推理优化产业——量化、编译器、KV 缓存优化、投机解码、专用推理引擎。它不训练模型,却决定了模型的交付成本,是「价格战能打多低」的真正决定者。本文画一张推理优化产业的地图,讲清每一格的手艺与玩家。
行业动态 精选 · 原创 · 11-3 阅读 69·访客 68
操作系统内功 · 第 51 篇|overcommit 三种策略:内存申请的承诺与谎言
malloc 返回成功不代表内存真的到手。本文拆解 vm.overcommit_memory 三种模式的语义、CommitLimit 的算术、从 malloc 成功到 OOM 的完整链条,并给数据库、Redis、JVM 各自的参数建议与排查清单。
后端技术 精选 · 原创 · 11-10 阅读 65·访客 65
语义分块:超越固定长度的智能切块策略——从句子边界到语义边界的进化
固定长度切块的原罪是切断语义,本文拆解语义断点检测、命题级分块、Late Chunking 三条进化路线,以及如何用检索指标科学评测分块质量。
后端技术 精选 · 原创 · 11-9 阅读 69·访客 69
Cursor 深度解析:AI IDE 的架构、Rules 与 Agent 模式
Cursor 是 AI IDE 的标杆:Fork VS Code 换掉智能层,用代码库索引、Tab 补全、Agent 模式与 Rules 重塑编程体验。本篇拆解它的架构组件(索引、Composer/Agent、终端集成)、Rules 体系的工程化、模型与隐私策略,以及它与「编辑器插件派」「终端派」的竞争坐标。
智能体 精选 · 原创 · 11-4 阅读 62·访客 62
一篇读懂 LLM 推理的路由策略:模型路由与成本优化
不是每个请求都值得用旗舰模型:路由的三种形态(级联、训练 router、规则路由)、误路由的隐性成本、回退链设计与成本核算,一篇算清模型路由的账。
大模型 精选 · 原创 · 11-9 阅读 67·访客 67
智能体的测试策略:从单元到端到端的验证体系
传统断言测试在非确定性的智能体上失灵,本文给出智能体版测试金字塔——确定性单元测试、组件级评测、端到端轨迹验证三层体系,以及评测集建设、Judge 校准与回归门禁的工程实践。
智能体 精选 · 原创 · 11-5 阅读 72·访客 71
智能体生态观察 · 第 41 篇|工具调用的可靠性工程:schema 校验、重试与降级的三道闸门
工具调用是智能体从「会说」到「会做」的一跳,也是生产故障的第一大来源。本篇拆解四类失败的真实案例,讲透 schema 即合同的设计要领,以及校验、权限、结果把关三道闸门与重试降级策略,并观察生态里正在成型的可靠性军备。
智能体 精选 · 原创 · 3天前 阅读 22·访客 22
正文抽取的质量工程:boilerplate 剥离与清洗规则
网页与 Wiki 导出裹着厚厚的壳——导航、页脚、版权声明、推荐位。壳进了索引,检索质量就天然带病。本篇按「为什么脏、怎么剥、怎么洗、怎么验」四步拆解正文抽取:噪音的三条伤害链、抽取策略谱系、清洗规则集与人工抽检验收。
后端技术 精选 · 原创 · 3天前 阅读 22·访客 21
Code RAG:给代码做检索,和给文档做检索哪里不一样
把文档 RAG 的套路照搬到代码上会水土不服:代码有语法结构、有跨文件依赖、有海量重复模式。Code RAG 需要语法感知切块、符号级索引和「传统工具打底」的混合策略。本文讲清代码检索的三个特殊性、对应做法,以及 grep 与向量检索谁该打底的争论。
大模型 精选 · 原创 · 11-2 阅读 55·访客 55
AI 编程的上下文管理:大仓库里怎么把「对的代码」喂给模型
AI 改不动大项目的首要原因不是模型不够聪明,而是它看不到相关的代码。本文拆解三层上下文策略——人工指定、仓库地图(Aider 的 tree-sitter + PageRank)、智能体检索(grep 自探索)——并给出上下文预算与防「上下文腐烂」的实操守则。
智能体 精选 · 原创 · 10-7 阅读 300·访客 297
大模型发力动态输出调度策略,我国快递业务量已连续两个月超 170 亿件
IT之家 11 月 17 日消息,据央视新闻今日报道,国家邮政局数据显示,**我国快递业务量已连续两个月超过 170 亿件**。 报道提到,**10 月,快递行业紧扣电商大促等寄递需求**,构建产销运协同一体化服务链路,强化运力调配与资源投…
大模型 IT之家 · 5天前 阅读 17·访客 17
一篇读懂 PD 分离:Prefill 与 Decode 为什么不再挤在一个 GPU 里
同一块 GPU 上,prefill 是计算受限的短跑冲刺,decode 是带宽受限的长跑——挤在一起互相拖累,一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离:干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单,以及什么时候该拆、什么时候千万别拆。
大模型 精选 · 原创 · 10-24 阅读 177·访客 162
百度世界2026前瞻:10+重磅分论坛,全面解码AI时代的智能组织进化路径
量子位的朋友们* 2026-10-23 15:35:51 来源:量子位 10月21日,百度官方公众号发文披露了百度世界2026分论坛的更多议程信息。 企业AI转型正在走向深水区,从单点工具和业务场景提效,向系统性的组织重构延伸。麦肯锡曾在…
行业动态 量子位 · 10-23 阅读 42·访客 42
SGLang 上手:RadixAttention 与 vLLM 之外的推理引擎选择
RadixAttention 用前缀树跨请求复用 KV Cache,是 SGLang 的招牌。本文讲机制差异,给 OpenAI 兼容服务上手命令与结构化输出、多 LoRA、投机解码现状,并对照 vLLM/Ollama 谈选型。
开源项目 精选 · 原创 · 10-7 阅读 423·访客 422