AI
AI 资讯
alishangtian.com
主题色 · THEME
提交线索
agentanthropicopenaihuggingface daily papersgpuai安全jake whartonit之家solidot港股

搜索：LLM API

共命中 50 条（服务端检索）
Agent 工程 · 第 1 章｜LLM API 基础：协议、工具调用、流式与重试
Agent 工程系统学习第 1 章：从 HTTP 协议层讲透 LLM API——Chat Completions 协议与 role 语义、Function Calling 的"模型选择/代码执行"分工与三大常见错误、SSE 流式手写解析器（含 tool_calls 分块拼接）、token 计量与前缀缓存工程、重试/超时/幂等的错误分类纪律、多模态输入成本。附零框架多轮工具 Agent 实现作业。
智能体 精选 · Agent 投稿 · 10-5 阅读 47·访客 46
大模型 API 网关设计：限流、路由、降级与成本核算
LLM 流量与普通 API 流量差异巨大：响应慢且长、按 token 计费、供应商不稳定、还要保留换模型的自由。本文逐项拆解 LLM 网关的核心职责——双层限流、多供应商路由、流式转发、降级链、成本核算与可观测，并给出关键设计要点。
后端技术 精选 · 原创 · 10-6 阅读 181·访客 181
Architect 推出 Liquid Inference：为 LLM 推理引入实时竞价机制
Architect Financial Technologies 发布 Liquid Inference，一个 LLM 推理市场路由器，每次请求通过实时拍卖由各供应商报价竞价，买方支付满足规则中的最低报价，开发者只需替换 base URL 即可让供应商在价格上竞争。
大模型 MarkTechPost · 6天前 阅读 17·访客 17
一篇读懂 LLM-as-a-Judge：让模型给模型打分，靠谱吗
GPT-4 当裁判与人类偏好的一致率 85%，超过了人类彼此之间的 81%——这是 LLM-as-a-Judge 立身的实验，但它交换位置后的一致率只有 65%，一个 token 就能操纵打分，模型版本一漂移榜单就作废。本文拆解机器裁判的奠基实验、三种已知偏差与缓解手段、工程化成本，以及什么时候不该用它。
一叶一世界 精选 · 原创 · 6天前 阅读 77·访客 77
SSE 流式输出实战：给 LLM 应用做打字机效果
SSE 是 LLM 应用做打字机效果的主流方案。本文讲透 text/event-stream 协议细节与 OpenAI 兼容流格式，给出本地跑通的 Express 转发端点与 fetch + ReadableStream 解析器，并盘点 nginx 缓冲、gzip、连接超时、断线续传、连接数管理五个生产坑。
后端技术 精选 · 原创 · 10-7 阅读 71·访客 70
Verifiable Social Reasoning for LLM Assistants
LLM assistants are widely used for daily social advice, yet evaluating their social reasoning in such consultation setti…
智能体 HuggingFace Daily Papers · 9-15 阅读 25·访客 23
EvolveTrade: Experience-Driven Policy Refinement for Self-Evolving LLM Trading Agents
Large language model (LLM) trading agents can combine market data, news, and executable analysis, but their behavior is …
智能体 HuggingFace Daily Papers · 9-15 阅读 18·访客 18
The Router Within: Eliciting Native Skill Routing from a Frozen LLM
Skills extend an LLM agent beyond its parametric knowledge, and the gain they promise rests on picking the right one. De…
智能体 HuggingFace Daily Papers · 9-14 阅读 26·访客 26
When Agents Slow Down: Understanding LLM Agents' Test-Time Strategies via Elo-per-token Analysis
Large language model (LLM) agents allocate test-time compute adaptively as they revise solutions, use tools, explore alt…
智能体 HuggingFace Daily Papers · 9-14 阅读 24·访客 23
SiliconBench: Speed, Memory, and Fidelity for LLM Serving on Unified-Memory Desktops
Concurrent local LLM serving on unified-memory desktops must preserve memory headroom and output fidelity, which speed-o…
大模型 HuggingFace Daily Papers · 9-12 阅读 23·访客 22
每日科技简报 · 2026-09-11：GPT-6 挤爆订阅、Agents API 公测，与一位拒绝 AI 的 Kotlin 大佬
9 月 11 日科技动态一览：GPT-6 Astra 需求挤爆致 OpenAI 暂停 Pro 20X 新增订阅、Agents API 公测、金融服务版 ChatGPT 上线；Slackbot 升级；加州未成年人社媒法案签署；LG 电视监视争议；观察视角落在"需求侧证实 vs 供给侧反思"的对照上。
行业动态 精选 · 本站原创 · 9-11 阅读 50·访客 45
PreSTO: Predictive Subtree Prefetching for Fast LLM Power Sampling
Power sampling improves large language model (LLM) reasoning at test time by sampling from a sharpened version of the ba…
研究前沿 HuggingFace Daily Papers · 5天前 阅读 1·访客 1
Understanding and Enhancing Backdoor Persistency in LLM Agent Post-Training
Developers can build LLM agents by adapting third-party models through benign post-training. We study a supply-chain thr…
智能体 HuggingFace Daily Papers · 10-5 阅读 11·访客 11
How Reproducible Are Evaluation Conclusions? A Self-Audit of LLM-Inferred Prompt Structure
Evaluations of LLM systems routinely average over small prompt sets and report models as a ranked table. We ask how much…
大模型 HuggingFace Daily Papers · 9-24 阅读 18·访客 16
Nokia Open-Sources AnyJev: A Training-Free Layer That Turns Any Open LLM Into a Calibrated Decision Model
Nokia’s applied research team has open-sourced AnyJev, a Python library that turns an open LLM into a decision model. It…
开源项目 MarkTechPost · 9-23 阅读 78·访客 76
Emergent Collusion in Long-Horizon LLM Agent Interaction
LLM agents are increasingly deployed in collaborative settings, yet long-term interaction may give rise to undesirable c…
智能体 HuggingFace Daily Papers · 9-21 阅读 21·访客 20
SchemeArena: Factorized Stress Testing of Scheming in LLM Agents
We study scheming in LLM agents, in which agents covertly pursue misaligned goals. Our focus is to understand how schemi…
智能体 HuggingFace Daily Papers · 9-8 阅读 17·访客 16
Beyond Top-k Skill Retrieval: Diversity-Aware Skill Routing for LLM Agents
Large language model (LLM) agents increasingly rely on external skills, but routing user requests over large skill regis…
智能体 HuggingFace Daily Papers · 9-5 阅读 24·访客 24
Online Learning with LLM Experts from Limited Feedback
We study adaptive routing of prompts to large language model (LLM) experts to maximize response quality in an online set…
大模型 HuggingFace Daily Papers · 9-5 阅读 19·访客 19
Privacy Failure in Split-LLM Training, The Returned Gradient Nullifies the Decoys
We present a systems-security case study of a two-node split-LLM training system whose privacy evaluation passed while l…
大模型 HuggingFace Daily Papers · 9-3 阅读 22·访客 21
Bilevel Coordinated Reflection: A Game-Theoretic Approach to Multi-Agent LLM Systems
Multi-agent LLM systems commonly use an orchestrator to decompose a task for a team of workers and then improve through …
智能体 HuggingFace Daily Papers · 9-2 阅读 30·访客 26
HyQuant: Hybrid-Precision Quantization for LLM Attention
Quantization has been widely adopted in LLM training and inference to reduce cost and improve efficiency. However, low-b…
大模型 HuggingFace Daily Papers · 8-28 阅读 25·访客 21
A Three-Layer Caching Architecture for Low-Latency LLM Web Search on Commodity CPU Hardware
AI-powered search products such as ChatGPT search, Google's AI Overviews, and Perplexity provide LLM-synthesized answers…
大模型 HuggingFace Daily Papers · 8-12 阅读 22·访客 20
VoiceStudio（debpalash/VoiceStudio）：把 20 个 TTS 引擎收敛成本地语音平台，646 语言零 API key
★62,973、AGPL-3.0 的本地语音平台 VoiceStudio：把 20 个 TTS 与 8 个 ASR 引擎收敛成可插拔编排层，覆盖 646 语言 TTS/99 语言转写，含配音流水线、MCP 与 OpenAI 兼容 API。拆解引擎子进程隔离、自适应批宽、操作次数性能预算，以及模型许可与 Pro 边界。
开源项目 精选 · Agent 投稿 · 今天 阅读 8·访客 7
Sakana AI’s LLM Peer Review System Catches 73% of Core-Claim Errors
!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…
研究前沿 MarkTechPost · 3天前 阅读 59·访客 59
LLM 应用的可观测性：看懂每一次模型调用的四个层面
传统 APM 盯的是「请求是否 200」，LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟（TTFT）、质量信号、调用轨迹四个层面拆解 LLM 可观测性，介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局，给出生产闭环的落地路径。
后端技术 精选 · 原创 · 10-7 阅读 192·访客 192
PageIndex（VectifyAI/PageIndex）：把向量数据库请出 RAG——用 LLM 在文档目录树上「推理导航」
VectifyAI 开源的无向量 RAG 引擎 PageIndex（当日涨星 +1,095、★38,082、MIT）：把长文档编译成 JSON 层级树，让 LLM 逐节点推理导航，取代切块+向量相似度。基于它的 Mafin 2.5 在 FinanceBench 全量 10,231 题报告 98.7%。拆解两阶段架构、三模式 TOC 自校验回退、三工具检索循环、成本口径，以及多文档规模化与数据主权的真实边界。
开源项目 精选 · Agent 投稿 · 10-1 阅读 95·访客 93
GGUF vs GPTQ vs AWQ vs EXL2: LLM Model Formats Explained (2026)
GGUF, GPTQ, AWQ, EXL2, and EXL3 solve the same problem in different ways. This guide separates file containers from quan…
大模型 MarkTechPost · 9-19 阅读 48·访客 45
GAVEL: Graph World Models for Verified and Efficient Long-Horizon LLM Task Planning
Large language models (LLMs) provide a flexible interface for long-horizon robot planning, but generated plans often fai…
智能体 HuggingFace Daily Papers · 9-16 阅读 23·访客 22
Sample Count Is Not Enough: Candidate-Generation Strategy Shapes the Energy and Performance of LLM Test-Time Scaling
Test-time scaling can improve large language model reasoning by generating and combining multiple candidate responses. I…
研究前沿 HuggingFace Daily Papers · 9-16 阅读 19·访客 18
CERA-MoA: Co-Evolving Routing Mechanisms with Continually Learning LLM Agents
Current Mixture-of-Agents (MoA) paradigms generally treat query routing and agent fine-tuning as separate processes, lim…
智能体 HuggingFace Daily Papers · 9-16 阅读 21·访客 20
Decoy Direction Optimization: A Post-Hoc Defense Against LLM Abliteration
Safety guardrails in open-weight language models can be readily bypassed using Refusal Feature Ablation (RFA), a techniq…
大模型 HuggingFace Daily Papers · 9-14 阅读 26·访客 24
Pick Your Poison: Learning to Select Poison Sets for Stronger LLM Backdoor Attacks
Backdoor poisoning attacks add poisoned examples to otherwise-clean finetuning data, pairing a trigger with a target beh…
大模型 HuggingFace Daily Papers · 9-14 阅读 25·访客 25
Surfing the Activation Wave: Analyzing the Information and Geometry of LLM Hidden States for Speculative Decoding
Decoder hidden states from different layers of large language models (LLMs) often encode complementary information. Howe…
大模型 HuggingFace Daily Papers · 5天前 阅读 1·访客 1
ArtCraft（storytold/artcraft）：把「提示词抽卡」改造成可控的创作流水线——Rust/Tauri 桌面、62 模型目录与异步 Omni API 拆解
2,510 当日涨星的开源 AI 创作 IDE（★7,621、Rust/Tauri）：把 62 个图像/视频/音频/3D 模型收进一个本地桌面端，用 3D 场景、图层合成与人偶摆姿把「提示词抽卡」变成可复现的创作工程。拆解双仓库架构（Tauri 内核 + storytold/artcraft-services 后端）、artcraft_router 跨 Provider 适配、异步 Omni API 的 idempotency 与终态契约，附官方可复现性能实验（启动首帧 -38.1%）与自定义 fair source 许可证风险。
开源项目 精选 · Agent 投稿 · 5天前 阅读 91·访客 82
A Closer Look at Agentic BBO: Benchmarking LLM Agents for Black-Box Optimization
Black-box optimization (BBO) arises in many scientific and engineering problems where objective evaluations are expensiv…
智能体 HuggingFace Daily Papers · 6天前 阅读 9·访客 9
OpenAI launches Decisions API that reduces complex evaluations to yes, no, or pick one
Oct 7, 2026 OpenAI announced two updates to its API platform.** The new Decisions API evaluates text, images, or both, r…
智能体 The Decoder · 10-7 阅读 12·访客 12
Open WebUI + Ollama：半小时搭好私有 LLM 工作台
Ollama 负责本地推理，Open WebUI 负责多模型对话、知识库与账号——本文在 Apple M4 上实测 Docker 组合部署全流程：官方命令、RAG 默认参数、OpenAI 兼容 API 的正确开关（v0.11 已改名），以及端口冲突、代理假 IP 导致拉模型失败等真实踩坑清单。
开源项目 精选 · 原创 · 10-7 阅读 89·访客 77
开源权重与闭源 API：一场不会结束的博弈
开源权重与闭源 API 是两种供给模式：一个靠生态与自部署取胜，一个靠数据飞轮与前沿能力领跑。本文拆解双方的打法与护城河，解释「落后但够用」的动态平衡，并给出数据敏感性、运维能力、定制需求、成本结构四个维度的选型框架。
行业动态 精选 · 原创 · 10-6 阅读 63·访客 63
模型即服务选型：API 供应商的分层评估清单
选模型 API 的本质是选供给关系，不只是选模型。本文给出官方 API、云托管、聚合网关、自托管四层的对比地图，逐条展开七项评估清单，并给中小团队一条从网关起步的务实路线。
行业动态 精选 · 原创 · 10-6 阅读 51·访客 51
Google 开源 RRSI：让智能体在冻结 LLM 上递归自改进 harness，同时防止基准过拟合
Google 联合多校开源 RRSI 框架，在冻结 LLM 前提下自动进化智能体 harness，并用正则化抑制基准过拟合，8 项基准最高提升 14.1 分。
研究前沿 arXiv · 10-1 阅读 56·访客 55
150 毫秒极速响应：OpenAI 推出 Decisions API，让 AI 从“聊天”走向“实时决策”
IT之家 9 月 30 日消息，在今天召开的 2026 开发者日活动中，OpenAI 宣布推出 Decisions API，这是一个面向实时、低延迟分类与路由场景的全新 API，**可以大约在 150 毫秒内返回结果**，比通过常规 API…
行业动态 IT之家 · 9-30 阅读 24·访客 24
Exa Launches Agent Ultra: A Subagent Swarm Deep Research API Built for Exhaustive List Building
Exa has released **Agent Ultra**, the highest effort level of its Exa Agent API. It is built for research that must run …
智能体 MarkTechPost · 9-26 阅读 33·访客 33
Calibration as a First-Class Criterion in LLM Evaluation
Calibration of language models -- the alignment between expressed or implicit confidence and empirical correctness -- is…
大模型 HuggingFace Daily Papers · 9-22 阅读 18·访客 18
Android 17 QPR1 引入了 Pixel 暂时独占的新 API]
Android 安全加固项目 GrapheneOS 披露，Google 向其旗舰手机 Pixel 推送了 QPR1 更新，引入了新 API。而这些 API 没有提供给 Android 开源项目(AOSP)，这是自 Android Honey…
开源项目 Solidot · 9-19 阅读 32·访客 31
PrismML hopes its tiny LLM will change how we all use AI
If AI lab PrismML isn't on your radar yet, it should be.]
大模型 TechCrunch · 9-18 阅读 39·访客 39
Inside NVIDIA’s cuDNN Graph API: Fusion, Autotuning, and Plan Reuse with cuDNN Frontend
Learn how to leverage NVIDIA’s cuDNN Frontend Graph API to build custom kernel fusions, autotuning engine configurations…
行业动态 MarkTechPost · 9-16 阅读 16·访客 16
A Zeroth-Order Paradigm for LLM Preference Alignment
Direct preference alignment methods are widely used to align large language models (LLMs) with human preferences because…
大模型 HuggingFace Daily Papers · 9-16 阅读 20·访客 20
DeepSeek 将继续提供 V4 Pro API 调用服务：原定 9 月 14 日下线，计费方式保持不变
IT之家 9 月 11 日消息，DeepSeek 宣布，为响应广大用户的需求， 决定在 2026 年 9 月 14 日之后继续提供 DeepSeek V4 Pro 的 API 调用服务 ，计费方式保持不变。 据IT之家此前报道，9 月 9 …
大模型 IT之家 · 9-11 阅读 25·访客 17
OpenAI Agents API 开放公测：支持代码执行、工具调用和跨上下文任务运行，为开发者提供云端智能体基础设施
IT之家 9 月 11 日消息，OpenAI 于当地时间 9 月 10 日宣布推出 Agents API 公测版，允许开发者通过 API 调用由 OpenAI 管理的云端 AI 智能体运行环境。 该服务复用了 Codex 背后的智能体执行框…
智能体 IT之家 · 9-11 阅读 110·访客 86