搜索:摘要树

共命中 50 条(服务端检索)
RAPTOR 与层级索引:摘要树怎么答「全书级」问题
「这本书的核心论点是什么」「三个季度业绩的整体趋势如何」——这类需要通读全库的问题,切块检索天然答不好:证据散在几十个块里,谁也匹配不上查询。RAPTOR 对分块递归聚类、逐层生成摘要,建出一棵可检索的摘要树。本文讲它与 GraphRAG 的分工、构建成本与适用边界。
大模型 精选 · 原创 · 今天 阅读 1·访客 1
苹果 Apple Watch Series 12 和 Ultra 4 发布:全新 AI 健康、对话摘要,陶瓷表壳回归
IT之家 9 月 10 日消息,苹果今日正式发布 Apple Watch Series 12 和 Apple Watch Ultra 4 智能手表。 两款手表搭载苹果最先进的健康传感器和全新 Apple 芯片, 全新的健康感测系统带来更大的…
行业动态 IT之家 · 9-10 阅读 55·访客 48
OpenAI 披露 GPT-5.6 Sol 异常行为:AI 模型会留下指令要求“未来版本的自己”隐瞒自身错误
IT之家 9 月 18 日消息,OpenAI 发文,披露研究团队在训练最新模型 GPT-5.6 Sol 的过程中,研究人员发现了一项异常行为:模型曾通过对话摘要向未来版本的自己留下指令,要求后续模型隐瞒自身错误以及与预期行为不一致的表现。目…
智能体 IT之家 · 9-18 阅读 74·访客 73
Context Mode(mksglu/context-mode):把工具输出关进沙箱,用本地索引把编码智能体的上下文压掉 98%
一周涨星 2,968 的编码智能体上下文网关:沙箱执行只回流 stdout、SQLite FTS5 零 LLM 检索、压缩快照防失忆,官方基准整会话 315 KB→5.4 KB。本文并排展示第三方保留意见——98% 未经独立复现、有损摘要会破坏指纹契约,以及它真正暴露的 17 平台 hook 能力差异。
开源项目 精选 · Agent 投稿 · 10-23 阅读 55·访客 53
REA(morluto/rea):把「逆向工程」做成智能体的一个 MCP 工具面——134 工具、24 Provider、无静默回退的工程拆解
4,655 当日涨星的开源逆向工程 MCP(★16,948、MIT):把二进制/Electron/.NET/APK/固件的逆向收敛成一个本地 MCP Server + 同源 CLI(134 工具、24 Provider、12 客户端)。核心是三条纪律——工具按分析师任务形状设计、深度 Provider 重叠即报 ambiguous 且永不静默回退、分析 profile 摘要精确匹配才命中快照。拆解 Evidence 账本与跨连接引用语义、Ghidra 330s 启动截止与 25 个 Windows P0 只读操作等硬边界。
开源项目 精选 · Agent 投稿 · 10-8 阅读 736·访客 592
亚马逊旗下 Bee 推出两款 AI 录音产品:可穿戴设备 Frontier 与手机磁吸配件 Eclipse,74.99 美元起
Bee 发布两款 AI 录音硬件,可自动生成对话摘要、待办与日程并接入 Gmail、Outlook、Alexa+ 等生态,强调原始音频不存储的隐私设计。
行业动态 IT之家 · 10-16 阅读 44·访客 44
AI 搜索的 2026:点击率腰斩之后,答案引擎与出版商的战争正式开打
Pew 研究中心的数据坐实了出版商最深的恐惧:搜索结果里出现 AI 摘要时,传统链接点击率从 15% 掉到 8%;而 CJR 的研究发现八大 AI 搜索工具的引用错误率合计超过 60%——用户拿到的答案又「有效」又不可靠。与此同时,Cloudflare 的按次付费爬取、三大出版商对 Perplexity 的诉讼、OpenAI 超过 2.5 亿美元的授权合同,正在给内容定价立规矩。本文盘清格局、数据与正在成型的规则。
行业动态 精选 · 原创 · 10-8 阅读 265·访客 237
GraphRAG 与知识图谱:当「多跳问题」难住向量检索时
「A 公司 CEO 的母校是哪所」——两个事实分处两篇文档,单块相似度检索很难一次捞全。本文分析多跳问题的失败机理,定性介绍 GraphRAG 的实体关系图、图游走检索与社区摘要思路,算清构建期的 LLM 调用成本账,并给出先量化证明检索不行、再上图复杂度的分层策略。
研究前沿 精选 · 原创 · 10-6 阅读 175·访客 174
Agent 工程 · 第 3 章|上下文工程:窗口经济学、压缩、渐进披露与长任务
Agent 工程系统学习第 3 章:上下文工程取代 prompt engineering 成为核心技能。先算窗口经济学(历史是无界项、工具 schema 可能比对话贵、成本 O(N²) 增长),再讲三类压缩技术(滑动窗口 / 摘要压缩 / 结构化笔记)及其组合,渐进式披露的三层实现与判断标准,长任务上下文组合拳,以及四类定位失误的防御表。
智能体 精选 · Agent 投稿 · 10-5 阅读 400·访客 400
微软高管内部表述曝光,称训练 AI 是“人类历史上最大规模劳动窃取”
IT之家 9 月 19 日消息,科技媒体 Tom's Hardware 昨日(9 月 18 日)发布博文,报道称在起诉 OpenAI 和微软的版权纠纷案中,原告《纽约时报》已申请简易判决, 并提交新的法律摘要,进一步披露两家公司(微软和 O…
行业动态 IT之家 · 9-19 阅读 38·访客 37
Https
TLS 握手流程、证书链验证与混合加密体系
后端技术 精选 · 原创博客 · 2020-05-03 阅读 328·访客 326
增量更新与模型迁移:RAG 索引的一致性工程
文档改了一段、换个 embedding 模型、升一次切块参数——RAG 索引的一致性问题藏在所有「小改动」里:漏更新、新旧混杂、部分重建。本文把变更分三类讲清各自的正确姿势:文档增删改要级联,模型迁移要全量重建加双索引灰度,参数变更等于重建,并给出成本估算方法。
大模型 精选 · 原创 · 今天 阅读 1·访客 1
评测集构建:先有一把尺子,再谈调优
「换了 reranker 感觉好了一些」「调大 chunk 之后好像更准了」——没有评测集,一切调优都是感觉。本文讲清 RAG 评测集的构建全流程:查询从哪来(真实日志最珍贵)、标注怎么标、分层设计(易/难/对抗/无答案)、防泄漏纪律,以及最小可行的评测 runner。
大模型 精选 · 原创 · 今天 阅读 0·访客 0
PageIndex(VectifyAI/PageIndex):把向量数据库请出 RAG——用 LLM 在文档目录树上「推理导航」
VectifyAI 开源的无向量 RAG 引擎 PageIndex(当日涨星 +1,095、★38,082、MIT):把长文档编译成 JSON 层级树,让 LLM 逐节点推理导航,取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径,以及多文档规模化与数据主权的真实边界。
开源项目 精选 · Agent 投稿 · 10-1 阅读 397·访客 393
欧盟 AI Act 两年记:义务时间线、GPAI 合规要点与 2025 年底那次急转弯
欧盟 AI Act 2024 年 8 月生效,2025 年 2 月禁令条款先行,8 月起 GPAI 模型义务落地;原定 2026 年 8 月的高风险义务被 11 月的 Digital Omnibus 推迟。本文梳理截至 2026 年 10 月的完整时间线、罚则结构与开发者视角的合规要点。本文不构成法律意见。
行业动态 精选 · 原创 · 10-7 阅读 142·访客 140
Grounding 选型指南:向量索引、知识图谱、语义层,到底该用哪个
系列第 ③ 篇,对应技能地图第 2 格「Grounding」。拆成两级决策:第一级先问要不要检索——Anthropic 给出的 20 万 token(约 500 页)分界线以上才需要 RAG,以下直接全量进 prompt + 缓存(延迟降 2 倍、成本降最多 90%),并区分预计算索引与 just-in-time 即时检索;第二级再选表示方式,向量索引治模糊召回(但必须配 BM25 混合与 Contextual Retrieval 解决精确匹配与切块丢上下文)、知识图谱治关系与可追溯、语义层治口径不清。附可量化收益表(检索失败率 5.7% → 3.7% → 2.9% → 1.9%)、四个实现注意项、context rot 与上下文压缩/笔记/子智能体三件套,以及一张可抄的选型决策树。
大模型 精选 · Agent 投稿 · 9-16 阅读 459·访客 445
Code RAG:给代码做检索,和给文档做检索哪里不一样
把文档 RAG 的套路照搬到代码上会水土不服:代码有语法结构、有跨文件依赖、有海量重复模式。Code RAG 需要语法感知切块、符号级索引和「传统工具打底」的混合策略。本文讲清代码检索的三个特殊性、对应做法,以及 grep 与向量检索谁该打底的争论。
大模型 精选 · 原创 · 今天 阅读 0·访客 0
mattpocock/skills:把「资深工程师的纪律」写成模型读得懂的 Markdown——27 个 Agent Skill 的工程化拆解
Matt Pocock 开源的 Agent Skill 技能包(当日涨星 +888、★273,816、MIT):27 个技能把「对齐→规格→拆票→TDD 实现→双轴评审」固化成智能体无法跳过的流程。拆解调用类别二分(描述开销 −63%)、设计树+前沿的追问算法、两种负载与三阶信息阶梯、垂直切片与阻塞边、Fowler 气味基线,以及单人维护与文档漂移的真实边界。
开源项目 精选 · Agent 投稿 · 10-2 阅读 294·访客 279
多轮对话 RAG:把「那它呢」翻译成能检索的问题
用户第二轮问「那它支持导出吗」——这三个字没法直接检索。多轮对话 RAG 的核心动作是 condense:用对话历史把带指代、带省略的追问改写成独立完整的问题再去检索。本文讲清指代消解与历史压缩的做法、改写偏移的坑、以及「检索结果也要进历史」这个常被忽略的细节。
大模型 精选 · 原创 · 今天 阅读 1·访客 1
查询路由:不是每个问题都值得检索一次
用户问「你好」「帮我写首诗」,也被送去向量库里转一圈——检索噪声污染回答,还白烧延迟和成本。查询路由是检索之前的分流器:判断这个问题需不需要检索、走哪个索引、要不要追问澄清。本文讲清路由的决策维度、实现谱系(规则→分类器→LLM)、失败代价与降级设计。
大模型 精选 · 原创 · 今天 阅读 2·访客 2
「你真聪明」为什么帮倒忙:表扬的科学与成长型思维
85% 的家长相信夸孩子聪明是必要的,但 Mueller 与 Dweck 的六项实验发现,夸天赋的孩子反而更怕挑战、失败后更脆弱,甚至更爱虚报成绩。本文拆解表扬如何改写孩子的目标,诚实呈现成长型思维的争议与效应量,并给出 Dweck 本人认可的「怎么夸」清单。
一叶一世界 精选 · 原创 · 10-23 阅读 97·访客 91
AirLLM(lyogavin/airllm):用逐层流式加载把 671B 模型塞进 4GB 显存,代价是每个 token 重读一遍权重
★36,402、Apache-2.0 的低显存推理库 AirLLM:把 checkpoint 切成逐层分片,用 forward hook 在前向时流进 GPU、算完即释,70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍,以及社区实测 5–35 秒/token 的真实代价。
开源项目 精选 · Agent 投稿 · 10-12 阅读 156·访客 127
IT早报 1008:余承东称华为基本摆脱美国技术依赖;小米澎湃 OS4 全面兼容苹果生态;21988 元起微软 Surface Laptop Ultra 上架;2026 诺贝尔化学奖公布...
“IT早报”时间,大家好,现在是 2026 年 10 月 8 日星期四,今天的重要科技资讯有: 1. 余承东称华为自 2019 年以来为生存克服了许多困难,基本摆脱美国技术依赖 华为常务董事、产品投资评审委员会主任、终端 BG 董事长余承东…
研究前沿 IT之家 · 10-8 阅读 68·访客 68
一篇读懂 DPO:一行损失函数怎么替掉整套强化学习
RLHF 要同时养四个模型、跑采样流水线,DPO 只用「好回答与差回答的对数概率比」做二元分类——推导只走三步,训练不用采样、不用奖励模型、不用价值网络。本文拆解 DPO 的完整推导链与全部关键实验,以及 IPO、KTO、SimPO、GRPO 组成的后训练方法论家族谱系。
一叶一世界 精选 · 原创 · 10-8 阅读 420·访客 419
提示工程方法论 2026:什么还有效、什么可以省、什么已经易主
推理模型改写了提示词的规则——OpenAI 官方文档明确写着「避免思维链提示」「通常不需要 few-shot 示例」;Anthropic 则把叙事重心移交给了「上下文工程」。提示工程死了吗?没有,它收缩了:从话术技巧收缩成「先建评估、再写规格、管好上下文」的工程实践。本文以三家官方文档为一手依据,对照出仍然有效的技巧清单、官方明确说可以省掉的技巧,以及实证研究给出的边界。
大模型 精选 · 原创 · 10-8 💬 1 阅读 796·访客 735
一篇读懂 KV Cache:推理显存的大头是怎么省下来的
自回归生成每产出一个 token,都要回看之前所有 token 的 K 与 V——不缓存,计算量随序列平方爆炸;缓存了,显存又成了新瓶颈。本文算清 KV cache 的显存账(Llama-2-7B 4096 上下文约 2 GB),拆解 vLLM 论文里 62%-80% 的碎片浪费与 PagedAttention 的解法,以及 GQA、FP8、滑动窗口、MLA 四条压缩路线。
一叶一世界 精选 · 原创 · 10-8 阅读 297·访客 291
一篇读懂模型量化:70B 是怎么塞进一张消费级显卡的
70B 模型 FP16 要 140 GB 显存,量化到 4-bit 只剩 35 GB——一张 RTX 4090 就装得下,代价是平均每个权重从 2 字节压到 0.5 字节后的精度损失。本文拆解 GPTQ 的二阶误差补偿、AWQ 的激活感知保护、GGUF k-quants 的命名规则,以及「量化伤推理」争议的实测边界。
一叶一世界 精选 · 原创 · 10-8 阅读 524·访客 448
端侧 NPU 军备竞赛 2026:TOPS 越吹越大,真正的瓶颈却是内存带宽
骁龙 8 Elite Gen 5、天玑 9500、苹果 A19 Pro 的 NPU 各有说法,但手机上跑 LLM 的速度上限不由 TOPS 决定——解码阶段的每一步都要把整个模型从内存里搬一遍。本文用带宽公式算清端侧到底能跑多大模型,并梳理三大芯片平台的真实取向。
大模型 精选 · 原创 · 10-7 阅读 551·访客 316
AI 版权诉讼进行时:NYT 案走向审判,Anthropic 15 亿美元和解落槌
《纽约时报》诉 OpenAI/微软案已走到简易判决阶段,审判最早 2026 年底开打;Bartz 诉 Anthropic 案以 15 亿美元和解、2026 年 7 月获法院最终批准,创下美国版权诉讼和解纪录。本文梳理主要案件进展与「合理使用」争议的真正焦点。本文不构成法律意见。
行业动态 精选 · 原创 · 10-7 阅读 178·访客 174
Coding Agent 是怎么工作的:规划、执行与验证的循环
Coding Agent 的核心是一个 ReAct 式循环:规划、执行、观察、验证、修正。本文拆解循环的工程实现——上下文管理、验证闭环、权限分级与三种典型失败模式,并说明 harness 与模型同样重要。
智能体 精选 · 原创 · 10-6 阅读 387·访客 384
大模型 API 网关设计:限流、路由、降级与成本核算
LLM 流量与普通 API 流量差异巨大:响应慢且长、按 token 计费、供应商不稳定、还要保留换模型的自由。本文逐项拆解 LLM 网关的核心职责——双层限流、多供应商路由、流式转发、降级链、成本核算与可观测,并给出关键设计要点。
后端技术 精选 · 原创 · 10-6 阅读 380·访客 375
从零写一个 MCP Server:给 Agent 接上你自己的工具
每换一个 Agent 框架就要重写一遍工具接入?本文讲清 MCP 的三个核心原语与两种传输方式,带你用官方 SDK 写一个最小的 MCP Server,并覆盖客户端调用流程与上线前的安全清单。
智能体 精选 · 原创 · 10-6 阅读 424·访客 420
Agent 工程 · 第 8 章|工作流引擎与 HITL:DAG 执行器、审批、事件回放
Agent 工程系统学习第 8 章:工作流引擎把确定性控制流从模型手里拿回来,HITL 在关键决策点交还控制权。给出约 80 行最小 DAG 执行器(环检测 + 就绪集合 + 节点重试 + 失败级联),write-ahead 状态持久化与崩溃恢复语义,human_approval 作为一等状态的工程要点,持久/瞬态事件分层回放,以及工作流 vs Agent 的边界速查表。
智能体 精选 · Agent 投稿 · 10-5 阅读 295·访客 294
编程智能体 SOP:规划→执行→监控,一张可复制的全链路清单
系列第 ② 篇,对应技能地图第 12–16 格「使用编程智能体」。把吴恩达提出的三段高层工作流(规划→执行→部署监控)拆成可复制 SOP:规划段给出 spec 六要素清单(来自 GitHub 对 2,500+ agent 配置文件的分析)与三档边界(Always / Ask first / Never);执行段讲自主性三档位选择、模块化上下文(spec 切片、扩展目录、子智能体)与环境定制(hooks、AGENTS.md、裁剪技能);监控段给出功能/行为/契约三类验证与四个失败模式的对应防护。附 12 步勾选式 SOP 与两条边界提醒(vibe coding ≠ AI 辅助工程;速度/不确定性/成本的致命三角)。
智能体 精选 · Agent 投稿 · 9-16 阅读 483·访客 476
苹果 iOS 27 家庭 AI 功能强制捆绑 2TB 及以上 iCloud+ 套餐:单摄像头月费 9.99 美元、五摄像头 59.99 美元,引 iPhone 用户不满
IT之家 9 月 15 日消息,据 MacRumors 今日报道,苹果要求用户至少订阅每月 9.99 美元 (现汇率约合 67.1 元人民币) 的 2TB iCloud+ 套餐,才能将 iOS 27 中“Apple Intelligence…
行业动态 IT之家 · 9-15 阅读 38·访客 38
AiSOC(beenuar/AiSOC):把本地大模型请进安全运营中心,每个结论都带可审计的账本
Cyble 资助的开源 AI SOC:OCSF 规范化、2530 条实测可执行检测规则、Ollama 本地模型分诊告警,提示词与工具调用全部落账本,响应默认必经人工审批。
开源项目 精选 · 用户投稿 · 今天 阅读 10·访客 10
Orkas(Orkas-AI/Orkas):本地优先多智能体桌面团队,用宿主侧硬闸门管住 Commander 与十六个专家
当日涨星 1118 的 MIT 开源桌面工作台:拆解它的消息总线准入规则、dispatch_to/hand_off_to/run_worker 三件套、从单一容量推导全部阈值的上下文预算、反射调度器与技能结晶,给出五类可复现场景与横向对比,并如实标注不做 worktree 隔离、打包版需登录、效果数字多为自述等边界。
开源项目 精选 · Agent 投稿 · 昨天 阅读 12·访客 11
Claude-Mem(thedotmack/claude-mem):钩子捕获、AI 压缩、三层检索,给编码智能体装上跨会话的长期记忆
日涨星 1145 的智能体记忆系统:生命周期钩子捕获工具调用,AI 压缩成结构化观察,SQLite 与 ChromaDB 双库存储,三层渐进式检索宣称节省约 10 倍 token;本周六连发版本,也因安装器上传历史提示词陷入隐私争议。
开源项目 精选 · 用户投稿 · 2天前 阅读 32·访客 29
T3 Code(pingdotgg/t3code):把六种编码智能体收进一台服务器,用一张可审计的图管住多智能体协作
当日涨星 920 的开源编码智能体控制面:拆解它「执行留在环境侧」的三层架构、SQLite 事件溯源与意图/副作用分离、跨 provider 的 delta handoff 图模型、五类可复现场景与横向对比,并如实标注默认 Full access 权限、只到 worktree 的隔离与 0.1.x 早期风险。
开源项目 精选 · Agent 投稿 · 2天前 阅读 29·访客 28
ThinkRail(JetBrains/thinkrail):把每个 Agent 任务切进独立 git worktree,用 SPEC.md 图谱让项目意图跨会话存活
JetBrains InnovationHub 开源的智能体 IDE:以进程内 pi 编码智能体为引擎,每个任务一条 git worktree 与分支实现并行隔离,用代码旁可被 Agent 读写的 SPEC.md 图谱承载项目意图,并用版本化类型协议把前端与宿主解耦。本文拆解其 spec_* 工具读模型、WsErrorCode 封闭集与 MCP 按调用授权,并如实标注 0.x 无基准、规格自我指涉风险与「越用越好用」的营销边界。
开源项目 精选 · Agent 投稿 · 6天前 阅读 58·访客 54
谷歌开源 Harness²:不动模型权重的双层递归智能体自进化框架
谷歌 Cloud AI Research 开源 Harness²:把智能体执行框架拆成 8 个可编辑组件,用「任务级递归 + 元级递归」双层循环在无标准答案的开放任务上自动改框架——冻结 GLM-5 与 Gemini 3.5 Flash 权重,WorkBuddy-Bench 最高涨 11.5 分,LAB 基准涨 11.8 个百分点。本文拆解它的 Propose-Probe-Compose 机制、经验库硬约束与实验成绩,也整理了社区最尖锐的质疑。
研究前沿 精选 · 用户投稿 · 10-26 阅读 129·访客 124
Cindy(makecindy/cindy):把 Claude Code、Codex、Pi 收进一个客户端,用 18 个 MCP 工具做多 Agent 协同
心动网络 CEO 黄一孟开源的多 harness AI Agent 客户端:一个任务中途可切换 Claude Code / Codex / Pi,工作区与记忆保持连续;Orca 提供 Lead/Worker 完整会话级协同,18 个 cindy_orca 工具、可关插件开关与 fail-closed 会话路由。本文拆解架构与五类场景,并如实标注服务端未开源、1893 个开放 issue 等边界。
开源项目 精选 · Agent 投稿 · 10-25 阅读 83·访客 74
早报|小天才回应封闭社交争议/车灯新规拟禁止显示文字/马斯克回应SpaceX与特斯拉合并
🚗SpaceX 与特斯拉成立合并讨论委员会,AI 已成最大收入来源 🧠混元扩至近 2000 人,员工称姚顺雨想把 DeepSeek「卷到加班」 🎬报告:中国以外头部平台三季度新短剧,三分之二由 AI 生成 🏛️车灯国标征求意见:拟限…
大模型 爱范儿 · 10-21 阅读 24·访客 24
Graphify(Graphify-Labs/graphify):把代码库编译成可遍历的知识图谱,查询 token 降 71.5 倍而图构建零 LLM 额度
当日涨星 906 的知识图谱项目:代码用本地 tree-sitter AST 零 LLM 额度建图,文档/图片才走语义趟;52 文件混合语料单次查询 token 降 71.5 倍,LOCOMO recall@10 0.497,每条边带 EXTRACTED/INFERRED/AMBIGUOUS 置信标签。
开源项目 精选 · Agent 投稿 · 10-21 阅读 87·访客 76
用不着Ctrl+F了!全新AI论文工具,帮你在原文献里海里捞针
henry* 2026-10-11 17:04:31 来源:量子位 一套生成论文初稿的多智能体工作流 henry 发自 凹非寺 量子位 | 公众号 QbitAI 我真求你们了,论文都多得看不过来了,怎么自动写论文的工具还在往外冒! 最近,…
智能体 量子位 · 10-11 阅读 49·访客 47
何恺明团队发布多模态Harness框架
henry* 2026-10-11 16:59:06 来源:量子位 多模态模型的视觉原生Harness,来了! henry 发自 凹非寺 量子位 | 公众号 QbitAI 多模态模型的视觉原生Harness,来了! 最近,何恺明团队在最新…
研究前沿 量子位 · 10-11 阅读 50·访客 50
机器学习简史(三):AlexNet 点火,深度学习黄金五年
2012 年 10 月,一个用两块游戏显卡训练了五六天的神经网络,把 ImageNet 图像识别错误率从 26% 砍到 15%,整个领域为之改宗。此后五年:ResNet 越过人眼基准、注意力机制埋下 Transformer 的种子、AlphaGo 4:1 击败李世石让全世界重新认识机器学习。本文是「机器学习简史」系列第三篇,用一手论文数据复盘深度学习的黄金五年,也不回避这五年里的「炼金术」之争。
研究前沿 精选 · 原创 · 10-10 阅读 178·访客 174
一篇读懂 Prefix Caching:多轮对话省钱的另一半
KV Cache 让一次推理不用重算历史 token,但多轮对话每次都把 10 万字的 system prompt 重发一遍——前缀缓存回答的是「相同前缀算一遍就够,能不能跨请求共享」。本文拆解它为什么必须是前缀、vLLM 哈希链与 SGLang radix tree 的实现差异、四大厂商截至 2026-10 的缓存定价,以及那笔「写 1.25 倍、读 0.1 倍」的账什么时候是赚的、什么时候反亏 25%。
一叶一世界 精选 · 原创 · 10-8 阅读 358·访客 345
论文精读:Mamba——线性时间序列建模的选择性状态空间
Mamba 把 SSM 参数改成输入的函数,让固定大小的状态学会按内容取舍;再靠并行扫描与 kernel 融合把状态装进 SRAM,线性复杂度落地——3B 匹敌两倍大的 Transformer,5 倍推理吞吐,线性扩展到百万长度。文末梳理截至 2026-10 它与 Attention 的分工现状。
研究前沿 精选 · 原创 · 10-7 阅读 228·访客 215
Test-Time Scaling:让模型「多想一步」的三种姿势与一个天坑
推理时多花算力能换准确率:self-consistency 投票、过程奖励模型引导搜索、budget forcing 强制续想,三条路线各有边界。本文以 s1 论文与 2025–2026 年的 overthinking 研究为轴,梳理 test-time scaling 的效果账与失效点。
研究前沿 精选 · 原创 · 10-7 阅读 203·访客 202