推理服务的 SLA 工程:SLO、错误预算与容量规划
推理服务向用户承诺「99.9% 可用、P99 延迟 2 秒」——承诺的背后是一套 SLA 工程:SLO 的定义、错误预算的运营、容量规划的科学。本篇拆解推理服务 SLA 的特有指标(TTFT/TPOT 的分位数)、错误预算的纪律、以及容量规划的三步法。
阅读全文 →
全部文章
ARCHIVE 共 443 条Anthropic's Message Threads cut time to first token by 35 percent for long conversations
Nov 3, 2026
Anthropic released Message Threads as a public beta on its Claude platform.** Until now, every API request h…
Bug hunters can now earn up to $172,000 from OpenAI as company ramps up security
Nov 3, 2026
OpenAI quadruples bug bounty payouts and launches new internal security sprint.** Critical vulnerabilities i…
欧洲最高法院顾问:谷歌 Gemini 使用新闻报道可能侵犯版权
IT之家 11 月 3 日消息,据路透社报道,欧洲最高法院的一名顾问周二表示,谷歌旗下 Gemini 聊天机器人在回答互联网用户提问时使用新闻报道,在特定情况下可能违反版权规定。
IT之家注意到,这项意见由欧盟法院(CJEU)驻卢森堡的法务…
早报|苹果或为iPad Pro加入均热板/ChatGPT与Codex将共享额度/奇瑞回应智界独立:希望团队更像新势力
📱曝苹果明年上半年将更新三款 iPad,Air 拟换 OLED 屏
🚀我国首次载人登月乘组计划由 3 人组成,2 人着陆月球
💬ChatGPT 与 Codex 将从 12 月起共享额度,Instant 聊天不扣额度
🚗多家车企公布 …
Reviso: Not All Visual Evidence Deserves Equal Attention in Video Captioning
Multimodal large language models (MLLMs) can generate detailed video captions, yet they may overemphasize minor details …
一夜之间,GPT-6.2 Astra 和 Fable 5.5 双双曝光,AI 圈疯狂 11 月要来了
刚进入 11 月,AI 圈又开始热闹起来了。**
过去十几个小时里,Anthropic 和 OpenAI 接连传出新模型消息。有人在 Anthropic 官网源代码中发现了 Claude Mythos 5.5 的名字,还有开发者晒出疑似 C…
Meet qwenGPU: Qwen3.5-2B With 45 Compiled GPU Layers That Run CUDA
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?
Research taste, the judgment of what to read, which problems to pursue, and which methods to try, increasingly shapes th…
早报|iPhone国行AI官宣!千问接入Siri/DeepSeek千亿融资曝光/于东来建议支持「消费入座」
📱iPhone 国行 AI 官宣,11 月 4 日开放测试
💵DeepSeek 千亿融资曝光,腾讯、宁德时代、长鑫等参投
🚗特斯拉推出 5 年零息方案,Model 3 / Y 首付 3.99 万元起
🍴于东来建议支持「消费入座」,餐…
iPhone 国行 AI 真的来了,千问成为 Siri 新搭档
等了整整两年,中国 iPhone 用户终于不用再对着苹果 AI 的宣传片望梅止渴了。
刚刚,苹果正式宣布,Apple Intelligence(Apple 智能) 即将面向中国大陆用户推出首批功能,
从 2024 年苹果高调宣布进军生成式 …
DecisionRank: On-Policy Distillation for Decision-Model Rerankers
Decision models target structured tasks by directly predicting choices or scores, avoiding autoregressive decoding laten…
DeFT-RAG: Decomposing Multi-Hop Questions into Self-Contained Sub-Questions with Reusable Answers
Retrieval-augmented generation (RAG) lets a large language model (LLM) answer questions by retrieving relevant passages …