搜索:服务质量

共命中 50 条(服务端检索)
检索服务的 SLO:召回率也是服务目标
可用性 99.9% 的检索服务可能一半答案答非所问——答非所问的可用系统比宕机更伤信任。本文给出检索 SLO 的四维框架:可用性、延迟、质量、安全,讲质量 SLO 的滚动抽样评测、分桶统计与错误预算的消耗和熔断,以及质量劣化的归因分诊路径。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
推理服务的 SLA 工程:SLO、错误预算与容量规划
推理服务向用户承诺「99.9% 可用、P99 延迟 2 秒」——承诺的背后是一套 SLA 工程:SLO 的定义、错误预算的运营、容量规划的科学。本篇拆解推理服务 SLA 的特有指标(TTFT/TPOT 的分位数)、错误预算的纪律、以及容量规划的三步法。
大模型 精选 · 原创 · 11-4 阅读 49·访客 49
推理服务的压测方法:从基准工具到容量验证
「压测一下」在推理服务上远比传统服务复杂:压什么指标(TTFT/吞吐)、怎么模拟真实流量(长度分布)、用什么工具(vLLM benchmark、k6、自研)。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位,以及压测报告的正确打开方式。
大模型 精选 · 原创 · 11-4 阅读 55·访客 55
RAG 团队的角色分工:谁对检索质量负责
一条 bad case 常在解析、检索、语料三方之间踢皮球,根源是责任没有归属。本文从组织视角讲 RAG 团队的四个角色——平台工程、质量评测、知识运营、业务接入——的职责边界、bad case 流转与指标共背的协作接口,以及从一人多角到专业分工的规模匹配。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
推理服务的灰度与模型热更新:不停机的模型迭代
模型每周迭代、服务不能停机——推理服务的「灰度发布」与「模型热更新」有自己的工程形态:蓝绿切换、流量灰度、多模型并存与热加载。本篇拆解推理服务模型迭代的四种模式,以及「切换时 KV Cache 怎么办」这个独有难题。
大模型 精选 · 原创 · 11-4 阅读 44·访客 44
智能体生态观察 · 第 53 篇|主动式智能体:从一问一答到订阅式持续服务
触发权从人转移到机器,是智能体产品的一次范式转移。本文梳理定时、事件、阈值与模型自主四类触发机制的误报成本,拆解主动服务的三要素,并讨论骚扰与信任的经济学边界。
智能体 精选 · 原创 · 昨天 阅读 3·访客 3
一篇读懂推理服务架构:路由、负载均衡与模型热切换
从引擎到服务的最后一公里——拆解前缀感知路由、cache-aware 负载均衡、LoRA 热加载与模型热切换的生产实现。
大模型 精选 · 原创 · 11-9 阅读 55·访客 55
RAG 的生产监控与调试:追踪检索质量的生产链路
RAG 上线后的调试比开发期更难:真实流量的多样性、检索质量的隐性退化、生成质量的持续漂移——生产监控是 RAG 运营的眼睛。本篇拆解 RAG 监控的四个层面(检索层、生成层、用户层、系统层)、调试的方法论,以及 bad case 的管理流程。
一叶一世界 精选 · 原创 · 11-4 阅读 68·访客 68
模型服务的多租户隔离:噪声、配额与公平
一套推理服务服务一百个客户:一个客户的高峰不能拖垮别人、每个客户有配额、资源分配要公平——多租户推理的三大课题。本篇拆解推理服务的多租户隔离技术(资源隔离与逻辑隔离)、配额与公平调度、以及噪声治理的工程手段。
大模型 精选 · 原创 · 11-4 阅读 50·访客 50
多模态推理的基础设施:VL 模型服务化的特殊工程
视觉语言模型(VLM)的服务化与纯文本模型不同:图像的预处理管线、多模态 KV 的显存压力、请求的异构性(图+文的组合)。本篇拆解多模态推理基础设施的特殊工程点——从请求处理到显存管理到成本核算。
大模型 精选 · 原创 · 11-4 阅读 47·访客 47
一文都懂微服务
服务拆分、注册发现、熔断限流的架构设计要点
后端技术 精选 · 原创博客 · 2020-05-08 阅读 455·访客 453
一篇读懂服务发现:CAP 约束下的注册中心选型
微服务架构中,服务 A 要调用服务 B,首先要知道 B 在哪——服务发现(Service Discovery)就是回答这个问题的机制。注册中心的选择(Eureka/Nacos/Consul/etcd)本质上是在 CAP 约束下做取舍。本文讲清服务发现的两种模式、主流注册中心的对比、以及选型的决策框架。
后端技术 精选 · 原创 · 11-3 阅读 66·访客 66
推理服务的弹性伸缩:冷启动、预热与 KPA 的伸缩艺术
LLM 推理服务的伸缩比普通服务难:副本启动要加载几十 GB 权重(冷启动分钟级)、显存装不下就想不加、流量是尖峰型。本篇拆解推理服务伸缩的三大难题与对策——模型加载的冷启动、基于指标的 KPA 伸缩、以及「预热」与「错峰」的运营手段。
大模型 精选 · 原创 · 11-4 阅读 50·访客 50
小团队的自建 GPU 服务器:从选件到上架
在租卡与云之间,自建 GPU 服务器是小团队的第三条路;本文给出从选件、组装验机到上架接网的完整流程,算清噪音、电费与运维的隐性成本,并划出自建与托管的能力边界。
行业动态 精选 · 原创 · 11-11 阅读 51·访客 51
一篇读懂服务网格:Istio 与 sidecar 模式的代价
微服务间的通信问题(重试、熔断、限流、加密、追踪)如果在每个服务中实现,代码重复且侵入。服务网格(Service Mesh)把这些问题下沉到基础设施层——sidecar 代理透明地处理所有网络通信,业务代码零修改。本文讲清 sidecar 模式的原理、Istio 的能力与代价。
后端技术 精选 · 原创 · 11-3 阅读 65·访客 65
知识库质量管理:垃圾进垃圾出的预防工程
RAG 的回答质量取决于知识库的质量——「垃圾进,垃圾出」。但知识库的质量管理不是一次性动作,是持续的运营:入库审核、质量打分、过期检测与清洗。本篇拆解知识库质量管理的完整体系。
一叶一世界 精选 · 原创 · 11-4 阅读 72·访客 72
模型服务的灾备与降级:预案的工程学
模型服务的故障域比传统服务更宽:区域故障、依赖故障与模型版本事故各有各的炸法;本文给出三层灾备架构、降级预案清单与恢复目标的管理方法,强调不演练的预案等于没有。
后端技术 精选 · 原创 · 11-11 阅读 71·访客 70
早报|苹果第四财季营收增长12%,服务收入再创新高/《影之刃零》72小时销量突破400万套/曝三星Fold9回归屏下摄像头
📈苹果第四财季营收增长 12%,服务收入再创新高 💻曝下一代触屏 MacBook Pro 将换新模具 🤖下一代 GPT 或将近期发布,OpenAI 用 1 万个 AI 智能体协作科研 🧠OpenAI 推出电网保护计划,拟让未来园区在…
智能体 爱范儿 · 11-3 阅读 20·访客 20
智能体生态观察 · 第 78 篇|政务与公共服务智能体:审批、热线与数字公务员
政务是高价值加高约束的智能体场景:责任重、容错低,需求却真实巨大。本篇以三个柜台为框架盘点审批预审、热线分流与办事引导的现状与卡点,讲透可解释、可追溯、人工兜底与无障碍四条硬约束,并观察政策知识库运营与项目制采购的结构性错配。
智能体 精选 · 原创 · 昨天 阅读 4·访客 4
RAG 产品化:从内部工具到对外服务的跃迁
内部好用的 RAG 与能卖钱的 RAG 产品之间隔着租户、SLA、计费、合规四道墙。本文讲产品化五级台阶各自新增的工程要求,商业化要啃的隔离配额、质量承诺口径与责任划分三块硬骨头,以及过早商业化、合同真空、成本算错三个典型的跃迁失败。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
AI 与餐饮酒店业:点餐、排班与服务的标准化账本
餐饮酒店是高频、低毛利、重人力的生意,AI 从点餐接口、后厨调度、客流排班与酒店收益管理四处切入;连锁化的标准化诉求决定渗透速度,客单价决定 ROI 敏感度,本文算清这笔落地的经济账。
行业动态 精选 · 原创 · 11-10 阅读 36·访客 36
RAG 评估的 LLM-as-Judge:用模型评模型的检索质量
人工标注跟不上迭代速度,用强模型当裁判评检索与生成质量——评分式与对比式两种裁判、位置与长度偏差的矫正、与人工标注的一致性校准,以及忠实度评估的落地实现。
后端技术 精选 · 原创 · 11-9 阅读 77·访客 75
一篇读懂服务降级与预案:降级、隔离与兜底的工程体系
熔断器篇讲了「自动刹车」,这篇讲「预案体系」:系统过载时的降级阶梯、依赖的隔离、兜底的层次——大促与故障时,「有预案的降级」与「慌乱的宕机」是两种完全不同的体验。
后端技术 精选 · 原创 · 11-5 阅读 68·访客 65
智能体生态观察 · 第 3 篇|MCP 生态观察:server 爆发之后的质量分层
MCP(模型上下文协议)从 Anthropic 的开放标准长成了智能体生态的 USB-C:server 目录爆发之后,生态的重心正从「有没有」转向「好不好」。本篇观察 MCP 生态的结构(官方、社区与企业三层)、质量分层的信号、以及协议竞争格局下 MCP 的生态位。
智能体 精选 · 原创 · 11-3 阅读 67·访客 67
智能体生态观察 · 第 15 篇|Agent 市场生态:分发、抽成与质量困境
应用商店的剧本正在智能体身上重演:平台开 Agent 市场,开发者上架智能体,平台抽成分发。但智能体不是静态 App——它会执行、会访问数据、会出错,商店三件套(分发、抽成、质量)每一件都遇到新问题。本篇观察 Agent 市场的现状形态、与 App Store 的结构差异、以及质量与信任机制的缺位。
智能体 精选 · 原创 · 11-3 阅读 73·访客 73
一篇读懂文档解析:RAG 的质量,卡在切块之前
RAG 答案不对,先别急着调切块参数——病灶常在更上游的 PDF 解析。本文讲透切块之前的第一公里:解析到底难在哪、管道式与 VLM 直出两代路线怎么分、2026 年的工具版图怎么选、OmniDocBench 饱和之后质量怎么评,以及八条落地实践。
一叶一世界 精选 · 原创 · 10-24 阅读 185·访客 176
一篇读懂查询改写:检索质量的上限,常常在查询不在检索器
RAG 系统调不动检索质量时,最先该看的不是向量模型,而是查询本身——用户嘴里的「问题」和索引世界的「查询」是两种语言。本文拆解查询改写的三代方法:传统 IR 的查询扩展、LLM 时代的多查询改写与融合、以及「先生成假设文档再检索」的 HyDE,并给出按场景选型的对照与两个必须盯住的坑(延迟成本与查询漂移)。
一叶一世界 精选 · 原创 · 10-8 阅读 502·访客 501
OpenAI 推出金融服务版 ChatGPT:集成 GPT-6 Astra 内置金融数据与细粒度引用,支持估值模型与研究报告
IT之家 9 月 11 日消息,OpenAI 于当地时间 9 月 10 日宣布推出 ChatGPT for Financial Services。 这是一款面向金融服务团队的定制化 ChatGPT 服务,结合内置金融数据与 GPT-6 As…
研究前沿 IT之家 · 9-11 阅读 89·访客 74
大模型服务的计费工程:token 计量与对账
计费是大模型服务从「能跑」到「能卖」的分水岭:token 怎么数、输入输出与缓存命中怎么分别计价、用量采集到账单聚合的架构怎么搭、重试幂等与失败边界怎么定,以及多租户配额与成本可见化。
大模型 精选 · 原创 · 11-11 阅读 47·访客 47
引望申请注册“问境”商标:商品 / 服务范围含自动驾驶汽车等,处于“等待实质审查”阶段
IT之家 9 月 17 日消息,国家知识产权局商标局最新信息显示,华为技术有限公司近期申请注册了“问境”商标,申请日期为今年 5 月 14 日, 目前处于“等待实质审查”阶段 。 该商标归属于国际分类第 12 类,涵盖的商品 / 服务范围包…
行业动态 IT之家 · 9-17 阅读 40·访客 40
提速2.48倍且画质不掉线,AI视频“降本增效”有了新解法
思邈* 2026-11-16 11:07:39 来源:量子位 是石科技最新发布多模态模型服务 允中 发自 凹非寺 量子位 | 公众号QbitAI AI视频生成中,推理速度提升与生成质量下降,可能同时发生。 减少计算步骤可以缩短生成时间,但…
研究前沿 量子位 · 4天前 阅读 2·访客 2
汇智智能发布Hellome:国内首个FDE直连智能体服务平台,把AI交付周期压进“周”
量子位的朋友们* 2026-09-23 17:50:26 来源:量子位 企业AI服务迎来平台化交付时代 近日,南京人工智能企业汇智智能正式发布一站式AI服务平台Hellome——国内首个实现FDE(前沿部署工程师)与企业客户直接对接的应用…
智能体 量子位 · 9-23 阅读 126·访客 125
传三星电子 12Hi HBM4E 内存已通过英伟达等主要客户质量验证测试
IT之家 10 月 7 日消息,《韩国经济日报》当地时间今日报道称,三星电子存储器业务的 12 层堆叠 HBM4E 内存已于 9 月末通过 NVIDIA(英伟达)和主要超大规模数据中心企业的质量验证测试,**各客户的供货量、合同规模、出货时…
行业动态 IT之家 · 10-7 阅读 38·访客 38
本体生产可观测性:语义漂移、覆盖缺口与告警
本体上生产后,结构校验通过并不代表语义仍与业务一致。要发现质量退化,需要同时观察形状校验、概念覆盖、未知术语、映射状态、数据时效和业务结果,并按来源、版本与时间分层比较。本文以告警图谱为例,说明指标设计、基线、误报边界与值班闭环。
后端技术 精选 · 原创 · 昨天 阅读 6·访客 6
推理服务的多模型混部:显存与算力的共享调度
一张 GPU 同时服务多个模型的现实诉求与技术路线:多实例共享、LoRA 热加载、权重热切换、MIG 硬切分与时分复用各自的隔离与代价,干扰毛刺的成因,以及什么场景值得混部、什么场景不该省这个钱。
大模型 精选 · 原创 · 11-11 阅读 47·访客 47
Anthropic 弃用 Git,自研版本控制系统 Scion 服务端管理源码
因代码合并量从日均 2500 次增至超 3 万次,Anthropic 弃用 Git 改用自研的 Scion 版本控制系统,将提交、合并、变基等操作移至服务器端执行,宣称 CPU 与内存消耗仅为 Git 的两百分之一,并需配套定制代码审查、搜索与 CI 工具。
大模型 IT之家 · 10-15 阅读 49·访客 49
小模型生成 + 大模型校验:成本与质量的杠杆组合
让旗舰模型写每一句话是预算刺客。本文讲「小模型生成、大模型校验」的分工经济学——生成是 token 密集型、校验是判定密集型,给出核对放行、批注重写、抽样送检三种组合模式的实现要点,并强调校验器的召回率是整个杠杆的支点,先测它再省钱。
后端技术 精选 · 原创 · 昨天 阅读 2·访客 2
微软云服务宕机持续逾 24 小时]
微软周六表示,影响各国企业和政府所用 Microsoft 365 应用的全球服务中断已经结束,这次中断持续了超过 24 小时。微软在 X 上发文说:“我们已完成解决这一事件根本问题的工作,并为其余受影响的客户和地区恢复了服务。”Teams、…
行业动态 Solidot · 6天前 阅读 6·访客 6
微软云服务全球宕机]
微软云服务全球宕机,受影响服务包括了 Outlook、Teams 和 OneDrive 等办公工具以及 AI 工具 Copilot。微软通过其社交媒体账号表示正全力解决该问题。根据 Downdetector 的报告,截至周四 18:00 G…
行业动态 Solidot · 11-13 阅读 8·访客 8
一篇读懂 BMC:服务器的带外管理与 Redfish
服务器关机也能管的秘密在 BMC:这块独立小芯片构成带外管理平面,从 IPMI 到 Redfish 两代接口的演进,远程开关机、挂 ISO 装机、看传感器、刷固件的日常操作,以及必须遵守的安全红线。
一叶一世界 精选 · 原创 · 11-11 阅读 86·访客 85
数据筛选与去重研究:数据质量对模型能力的影响
从 C4 去重的记忆化风险到 FineWeb-Edu 与 phi 系列的质量过滤,再到数据受限缩放定律,用实证数字回答「多干净的数据才值得训练」。
研究前沿 精选 · 原创 · 11-9 阅读 44·访客 44
友谊质量与社交地位:被拒绝的孩子怎么帮他
「他在学校有人玩吗」比「他成绩好吗」更能预测长期发展。同伴社交研究把社交地位分成了五档,被拒绝的那一档是可以干预的——前提是家长先学会分辨「没朋友」与「被拒绝」是两回事。
一叶一世界 精选 · 原创 · 11-5 阅读 96·访客 95
ZStack 开源 GPU 管理平台 GPUWorks:40MB 管上千台 GPU 服务器
ZStack 将 GPU 管理平台 GPUWorks 以 Apache 2.0 开源:40+MB 体积、60 秒部署,可管理上千台 GPU 服务器。
开源项目 Business Insider · 11-5 阅读 32·访客 32
一篇读懂 WebSocket:全双工通信与服务端推送
HTTP 的请求-响应模式无法做到服务端主动推送——客户端轮询是唯一的 workaround,但效率低下。WebSocket 在 HTTP 的基础上升级为全双工通信:一次握手,持久连接,双向实时收发。本文讲清 WebSocket 的握手过程、与 SSE/长轮询的对比、心跳保活与重连机制。
后端技术 精选 · 原创 · 11-3 阅读 60·访客 60
一篇读懂预训练数据管线:清洗、去重与质量过滤的完整工艺
「模型的能力上限由预训练数据决定」——但决定数据质量的是一条 rarely 被完整讲述的管线:采集、抽取、清洗、去重、过滤、配比。本篇拆解每个环节的工艺与坑,解释「为什么各家模型的数据管线的差异就是能力的差异」,以及数据飞轮如何让这条管线成为持续资产。
大模型 精选 · 原创 · 11-3 阅读 57·访客 57
OpenCode(anomalyco/opencode):客户端/服务端分离的开放编码智能体,7k token 低基线跑通 75 家模型
GitHub 21.6 万星的开放编码智能体一周内经历 2.0 大版本与安全事件双重曝光。本文拆解它的常驻服务端架构、插件热重载内核、Code Mode 与上下文经济设计,并给出五类落地场景。
开源项目 精选 · 用户投稿 · 10-19 💬 1 阅读 307·访客 246
腾讯元器将于 11 月 9 日停止服务,所创建智能体将不再可用
IT之家 10 月 10 日消息,腾讯元器 10 月 8 日发布《关于元器平台停止服务通知》,因业务调整,元器平台将于 2026 年 11 月 9 日停止服务。在正式停止服务前,用户仍可正常登录并使用现有智能体;停服生效后,所创建智能体将不…
智能体 IT之家 · 10-10 阅读 369·访客 368
最高每秒 300 个词元:OpenAI 推出 GPT‑6 Astra Ultrafast 服务
IT之家 9 月 30 日消息,在今天召开的 2026 年 OpenAI 开发者日活动日中,官方推出 Ultrafast 全新服务层级,在 Codex 中可提供最高 8 倍词元(Token)生成速度,在 API 调用时最高可以实现 6 倍生…
大模型 IT之家 · 9-30 阅读 47·访客 47
英国消费者权益机构 Citizens Advice:基本服务供应商应停止在客服工作中依赖 AI 聊天机器人
IT之家 9 月 22 日消息,英国消费者权益机构 Citizens Advice 近日呼吁,能源、银行、电话和互联网等提供基本服务的企业在客服工作中应当停止依赖 AI 机器人,保障用户“与真人沟通的权利”。该机构调查发现,超过一半需要使用…
行业动态 IT之家 · 9-22 阅读 49·访客 49
消息称苹果筹划重返服务器业务,高配版搭载 4 颗 M8 Ultra 芯片
IT之家 9 月 16 日消息,The Information 今天(16 日)晚间援引知情人士消息称,苹果公司正筹划推出企业级服务器,采用自研芯片,并可能 接入英伟达的网络设备 。 随着 AI 开发者对苹果电脑的需求不断上升,苹果希望借此…
行业动态 IT之家 · 9-16 阅读 39·访客 39