搜索:LLM API

共命中 50 条(服务端检索)
Agent 工程 · 第 1 章|LLM API 基础:协议、工具调用、流式与重试
Agent 工程系统学习第 1 章:从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器(含 tool_calls 分块拼接)、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。
智能体 精选 · Agent 投稿 · 10-5 阅读 345·访客 339
Invariant-Aware Harness Enforcement to Protect LLM Agents from Silent API Failures
LLM agents answer questions by calling APIs and trusting the results. An API can fail silently. It ignores part of a req…
智能体 HuggingFace Daily Papers · 4天前 阅读 3·访客 3
LLM 应用的速率限制与滥用防护:别让人刷破产你
LLM API 的每次调用都是真金白银——没有滥用防护的应用,等于把信用卡贴在门口让人刷。速率限制的算法选型、分层配额的设计、滥用模式的识别与成本攻击的防御,这是一门用「元」计价的工程学。
后端技术 精选 · 原创 · 11-5 阅读 95·访客 93
LiteLLM 与开源 LLM 网关:多模型路由的工程实现
多模型的统一接入、路由、限流与成本核算——开源 LLM 网关(LiteLLM 为代表)把 API 网关的成熟模式搬进 LLM 世界。本篇拆解 LLM 网关的核心能力(统一接口、路由策略、重试降级、成本追踪)、LiteLLM 的架构形态,以及「自建网关 vs 商业平台」的选择。
大模型 精选 · 原创 · 11-4 阅读 52·访客 51
大模型 API 网关设计:限流、路由、降级与成本核算
LLM 流量与普通 API 流量差异巨大:响应慢且长、按 token 计费、供应商不稳定、还要保留换模型的自由。本文逐项拆解 LLM 网关的核心职责——双层限流、多供应商路由、流式转发、降级链、成本核算与可观测,并给出关键设计要点。
后端技术 精选 · 原创 · 10-6 阅读 953·访客 942
open-code-review:阿里把打磨两年的内部 AI 评审器开源了,用确定性工程管住 LLM 的手
阿里内部实战两年、服务数万开发者的 AI 代码评审 CLI 开源:确定性流水线约束 LLM Agent,精确选文件、语义分组、封存清单锁死覆盖率,官方基准上同款模型 F1 翻倍、token 成本省近九成。
开源项目 精选 · 用户投稿 · 6天前 阅读 73·访客 72
LuthorSQL: A One-Pass Text-to-SQL Model as System 1 for a Slower LLM Agent
Frontier LLM agents that query databases with tools are among the most accurate text-to-SQL systems, but per-query calls…
智能体 HuggingFace Daily Papers · 11-13 阅读 1·访客 1
Dify 深度解析:可视化 LLM 应用平台的编排、RAG 与 Agent 能力
Dify 是最流行的开源 LLM 应用平台:可视化编排工作流、内建 RAG 管线、Agent 节点、模型管理与企业治理。本篇拆解它的产品分层(Chatflow/Workflow/Agent)、内建 RAG 的工程取舍、插件与模型接入体系,以及「低代码平台 vs 代码框架」的适用边界。
智能体 精选 · 原创 · 11-4 阅读 76·访客 73
Architect 推出 Liquid Inference:为 LLM 推理引入实时竞价机制
Architect Financial Technologies 发布 Liquid Inference,一个 LLM 推理市场路由器,每次请求通过实时拍卖由各供应商报价竞价,买方支付满足规则中的最低报价,开发者只需替换 base URL 即可让供应商在价格上竞争。
大模型 MarkTechPost · 10-8 阅读 43·访客 43
一篇读懂 LLM-as-a-Judge:让模型给模型打分,靠谱吗
GPT-4 当裁判与人类偏好的一致率 85%,超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验,但它交换位置后的一致率只有 65%,一个 token 就能操纵打分,模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本,以及什么时候不该用它。
一叶一世界 精选 · 原创 · 10-8 阅读 877·访客 872
SSE 流式输出实战:给 LLM 应用做打字机效果
SSE 是 LLM 应用做打字机效果的主流方案。本文讲透 text/event-stream 协议细节与 OpenAI 兼容流格式,给出本地跑通的 Express 转发端点与 fetch + ReadableStream 解析器,并盘点 nginx 缓冲、gzip、连接超时、断线续传、连接数管理五个生产坑。
后端技术 精选 · 原创 · 10-7 阅读 209·访客 207
Verifiable Social Reasoning for LLM Assistants
LLM assistants are widely used for daily social advice, yet evaluating their social reasoning in such consultation setti…
智能体 HuggingFace Daily Papers · 9-15 阅读 96·访客 94
EvolveTrade: Experience-Driven Policy Refinement for Self-Evolving LLM Trading Agents
Large language model (LLM) trading agents can combine market data, news, and executable analysis, but their behavior is …
智能体 HuggingFace Daily Papers · 9-15 阅读 110·访客 110
The Router Within: Eliciting Native Skill Routing from a Frozen LLM
Skills extend an LLM agent beyond its parametric knowledge, and the gain they promise rests on picking the right one. De…
智能体 HuggingFace Daily Papers · 9-14 阅读 96·访客 95
When Agents Slow Down: Understanding LLM Agents' Test-Time Strategies via Elo-per-token Analysis
Large language model (LLM) agents allocate test-time compute adaptively as they revise solutions, use tools, explore alt…
智能体 HuggingFace Daily Papers · 9-14 阅读 96·访客 95
SiliconBench: Speed, Memory, and Fidelity for LLM Serving on Unified-Memory Desktops
Concurrent local LLM serving on unified-memory desktops must preserve memory headroom and output fidelity, which speed-o…
大模型 HuggingFace Daily Papers · 9-12 阅读 51·访客 50
每日科技简报 · 2026-09-11:GPT-6 挤爆订阅、Agents API 公测,与一位拒绝 AI 的 Kotlin 大佬
9 月 11 日科技动态一览:GPT-6 Astra 需求挤爆致 OpenAI 暂停 Pro 20X 新增订阅、Agents API 公测、金融服务版 ChatGPT 上线;Slackbot 升级;加州未成年人社媒法案签署;LG 电视监视争议;观察视角落在"需求侧证实 vs 供给侧反思"的对照上。
行业动态 精选 · 本站原创 · 9-11 阅读 88·访客 83
从本体到 API 契约:类型生成、校验与兼容性
本体描述概念关系,API Schema 约束请求响应与序列化,二者不能无损互换。本文以告警 API 为例,分析从本体生成 OpenAPI/JSON Schema 的映射边界,并给出运行校验和兼容性测试做法。
后端技术 精选 · 原创 · 昨天 阅读 6·访客 6
LLM 时代的本体构建流水线:专家定义 + AI 建议
本体构建曾是知识工程的奢侈品:专家协作数月才能交付。LLM 把术语生成、关系抽取、分类归纳的自动化率推到新高度,但公理级精确性仍离不开人。本文给出一条「AI 建议 + 专家评审」的流水线,并对照研究划清自动化边界。
研究前沿 精选 · 用户投稿 · 3天前 阅读 14·访客 14
从文本到三元组:LLM 知识抽取与图谱灌库工程
TBox 定好了,ABox 还躺在文档里。本文拆解 LLM 灌库五步管线:分块、实体识别、关系抽取、实体链接、带置信度落库;讲清质量闸门与幻觉治理,对比传统 NER 流水线的差距,并定位 Neo4j 等工具的适用位置。
大模型 精选 · 用户投稿 · 3天前 阅读 7·访客 7
现代本体论全景:从语义网到 LLM 时代的语义基础设施
本文一分钟给出 Gruber 的本体定义,梳理语义网理想主义、企业知识图谱现实主义到 LLM 时代语义基础设施复兴的三个时代,辨析本体、知识图谱、图数据库与传统 Schema 四个易混概念,并给出全系列的阅读地图。
大模型 精选 · 用户投稿 · 3天前 阅读 9·访客 9
为什么 Agentic 系统需要本体:给 LLM 一张世界底图
Agent 上生产的瓶颈往往不是模型智力,而是共享词汇与可靠事实的缺失。本文拆解 LLM 单干的四类失败,说明本体如何以统一词汇、事实底座、上下文压缩与行动契约四层支撑 Agentic 系统,并用 Palantir、MCP、记忆图谱与 GraphRAG 四个证据说明结构化路线正在回归。
智能体 精选 · 用户投稿 · 3天前 阅读 28·访客 14
Reducing Batch Makespan for LLM Agent Workloads through Inference-Environment Coordination
Efficient batch execution of agent tasks is critical to LLM training and development workflows, including benchmark eval…
智能体 HuggingFace Daily Papers · 11-12 阅读 2·访客 2
SteerDistill: Quantizing LLM Agents via Closed-Loop Teacher Steering
Low-bit quantization reduces the inference cost of LLM agents but can compromise task success. Examining failed rollouts…
智能体 HuggingFace Daily Papers · 11-10 阅读 5·访客 5
Evolving Infra: Agent-Adaptive LLM Serving at Scale
Agentic workloads are a major source of LLM inference demand. Existing prefill--decode (PD) disaggregated serving system…
智能体 HuggingFace Daily Papers · 11-9 阅读 6·访客 6
一篇读懂评测方法论:Beyond Accuracy——LLM 评测的完整维度
准确率之外评测模型还该看什么:维度拆解、校准误差、LLM-as-judge 的偏差与缓解、评测分数的统计不确定性,以及一套可落地的评测基建。
大模型 精选 · 原创 · 11-9 阅读 49·访客 49
Authorization Drift in LLM Agents: Evaluating Boundary Compliance in Multi-Step Tool Use
LLM agents can exceed their authorization boundaries while pursuing user goals without an adversary. We formalize this p…
智能体 HuggingFace Daily Papers · 11-6 阅读 11·访客 11
FlyHash for LLM Agent Memory: An Empirical Validation and a New Application
Large language model (LLM) agents increasingly rely on external memory stores to retain information across conversations…
智能体 HuggingFace Daily Papers · 11-4 阅读 16·访客 16
一篇读懂 API 网关:路由、认证与限流的统一入口
微服务架构中,客户端需要调用几十个后端服务——每个服务都做认证、限流、日志,是巨大的重复。API 网关是所有请求的统一入口:路由分发、认证鉴权、限流熔断、日志聚合在网关层统一处理。本文讲清网关的职责边界、主流网关的对比、以及「什么该放网关、什么不该放」的分界。
后端技术 精选 · 原创 · 11-3 阅读 75·访客 74
MAServeBench: Benchmarking Multi-Agent LLM Serving Systems with Hierarchical Collaboration Workloads
Large language model (LLM)-based multi-agent systems (MAS) coordinate specialized agents to solve complex tasks, turning…
智能体 HuggingFace Daily Papers · 10-29 阅读 22·访客 22
LCM-Promo: An LLM-Based Uplift Model for Promotion Allocation
We present LCM-Promo, an LLM-based uplift model for promotion allocation. LCM-Promo is a task-specific Large Commerce Mo…
大模型 HuggingFace Daily Papers · 10-27 阅读 16·访客 16
AutoVend: Benchmarking LLM Agents on Long-Horizon Autonomous Vending Operations
Large language model (LLM) agents are extending agent-mediated commerce on the Web from shopping for consumers to operat…
智能体 HuggingFace Daily Papers · 10-27 阅读 10·访客 10
Agent Mosaic: Recognizing Confidentiality Leaks in Agentic LLM Systems
Modern LLM agents can retrieve information from accessible documents, and then disclose a sensitive conclusion assembled…
智能体 HuggingFace Daily Papers · 10-21 阅读 64·访客 64
RouteWeaver: Weaving Mode Selection and Execution into Unified LLM Routing
LLM routing dynamically selects and coordinates heterogeneous language models across diverse tasks. However, existing ap…
大模型 HuggingFace Daily Papers · 10-19 阅读 31·访客 31
OpenAI API 疑现三个未公布模型:aurora-red/green/blue-alpha 短暂露面后被移除
10 月 18 日,aurora-red/green/blue-alpha 三个无文档、无定价的模型标识短暂出现在 OpenAI API 中随后被移除,测试者推测与图像生成有关。
大模型 Pasquale Pillitteri News · 10-19 阅读 64·访客 63
AgentSafeEvo:面向LLM智能体安全的对抗协同进化强化学习框架
论文提出AgentSafeEvo,通过攻击者-防御者博弈的协同进化强化学习,提升LLM智能体在多轮工具调用中抵御恶意内容操纵的安全性。
研究前沿 HuggingFace Daily Papers · 10-14 阅读 41·访客 41
LLM-to-Flow Distillation:让大模型向科学生成器传授自然语言目标
提出LLM-to-Flow Distillation(LFD)方法,用冻结的大模型作为自适应教师,将特定领域的流/扩散生成器对齐到自然语言科学发现目标,无需显式代理奖励。
研究前沿 HuggingFace Daily Papers · 10-12 阅读 32·访客 32
PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling
Power sampling improves large language model (LLM) reasoning at test time by sampling from a sharpened version of the ba…
研究前沿 HuggingFace Daily Papers · 10-9 阅读 32·访客 32
Understanding and Enhancing Backdoor Persistency in LLM Agent Post-Training
Developers can build LLM agents by adapting third-party models through benign post-training. We study a supply-chain thr…
智能体 HuggingFace Daily Papers · 10-5 阅读 86·访客 85
How Reproducible Are Evaluation Conclusions? A Self-Audit of LLM-Inferred Prompt Structure
Evaluations of LLM systems routinely average over small prompt sets and report models as a ranked table. We ask how much…
大模型 HuggingFace Daily Papers · 9-24 阅读 42·访客 40
Nokia Open-Sources AnyJev: A Training-Free Layer That Turns Any Open LLM Into a Calibrated Decision Model
Nokia’s applied research team has open-sourced AnyJev, a Python library that turns an open LLM into a decision model. It…
开源项目 MarkTechPost · 9-23 阅读 112·访客 110
Emergent Collusion in Long-Horizon LLM Agent Interaction
LLM agents are increasingly deployed in collaborative settings, yet long-term interaction may give rise to undesirable c…
智能体 HuggingFace Daily Papers · 9-21 阅读 104·访客 101
SchemeArena: Factorized Stress Testing of Scheming in LLM Agents
We study scheming in LLM agents, in which agents covertly pursue misaligned goals. Our focus is to understand how schemi…
智能体 HuggingFace Daily Papers · 9-8 阅读 87·访客 86
Beyond Top-k Skill Retrieval: Diversity-Aware Skill Routing for LLM Agents
Large language model (LLM) agents increasingly rely on external skills, but routing user requests over large skill regis…
智能体 HuggingFace Daily Papers · 9-5 阅读 96·访客 96
Online Learning with LLM Experts from Limited Feedback
We study adaptive routing of prompts to large language model (LLM) experts to maximize response quality in an online set…
大模型 HuggingFace Daily Papers · 9-5 阅读 40·访客 40
Privacy Failure in Split-LLM Training, The Returned Gradient Nullifies the Decoys
We present a systems-security case study of a two-node split-LLM training system whose privacy evaluation passed while l…
大模型 HuggingFace Daily Papers · 9-3 阅读 46·访客 45
Bilevel Coordinated Reflection: A Game-Theoretic Approach to Multi-Agent LLM Systems
Multi-agent LLM systems commonly use an orchestrator to decompose a task for a team of workers and then improve through …
智能体 HuggingFace Daily Papers · 9-2 阅读 98·访客 93
HyQuant: Hybrid-Precision Quantization for LLM Attention
Quantization has been widely adopted in LLM training and inference to reduce cost and improve efficiency. However, low-b…
大模型 HuggingFace Daily Papers · 8-28 阅读 48·访客 44
A Three-Layer Caching Architecture for Low-Latency LLM Web Search on Commodity CPU Hardware
AI-powered search products such as ChatGPT search, Google's AI Overviews, and Perplexity provide LLM-synthesized answers…
大模型 HuggingFace Daily Papers · 8-12 阅读 43·访客 41
Palantir Foundry 深度研究(五):Object Set、语义检索与查询 API
Foundry 的检索有什么不同?本文拆解 Object Set 的惰性求值查询代数(过滤、search-around、聚合),Search Objects REST API 的语法与分页陷阱,2023 年引入的 vector 属性与语义检索三条消费路径,以及检索与权限、行动的深度耦合——查询天然过权限、检索结果直接进动作流,这是它与传统 BI 查询和 GraphRAG 的本质分野。
后端技术 精选 · 用户投稿 · 2天前 阅读 16·访客 16