从全量微调的显存账本讲起：LoRA 的秩一分解数学与参数量核算、QLoRA 的 NF4 三件套、Prefix Tuning 与 Adapter 的取舍，附横向对比表与选型决策树。

KV Cache 让一次推理不用重算历史 token，但多轮对话每次都把 10 万字的 system prompt 重发一遍——前缀缓存回答的是「相同前缀算一遍就够，能不能跨请求共享」。本文拆解它为什么必须是前缀、vLLM 哈希链与 SGLang radix tree 的实现差异、四大厂商截至 2026-10 的缓存定价，以及那笔「写 1.25 倍、读 0.1 倍」的账什么时候是赚的、什么时候反亏 25%。

Can one language model hand its live memory to another without the receiver rereading the context? We demonstrate useful…

一个介于智能体与模型 API 之间的上下文压缩代理：注入 compress/decompress 工具让模型自己决定何时压缩什么，摘要按 tier-1/2/3 层层折叠且逐块可恢复，前缀缓存永不失效。4.5 个月生产数据累计 187 亿 token、204,800 窗口零越界，第三方评测拿下 ContextBench 第一。截至 2026-11-09 当日 GitHub 涨星 460。

从引擎到服务的最后一公里——拆解前缀感知路由、cache-aware 负载均衡、LoRA 热加载与模型热切换的生产实现。

NVIDIA 在 GTC Berlin 开源的语义层：从元数据生成本体（术语+SQL属性+关系），人认证后经 MCP/CLI/REST 供智能体查询。本文拆解三段式编译流水线、LangGraph 查询图、七个重建上限与「宁可不答」的可解性判定，并给出四类可复现场景。

本体是「概念化的明确的规范说明」，一套让机器与人共享领域知识的建模方法。本文用代码示例拆解它从 Gruber 定义、Guarino 形式化到 W3C 标准栈的原理架构，复盘语义网的幻灭史，拆解 LLM 时代 GraphRAG、Palantir Ontology 与 Agent 记忆图谱的回潮逻辑，并给出七步实现路径、本体与向量检索的分工对比与六个落地场景。

一个信贷知识库、五段可运行代码：本文用 rdflib、owlrl、pySHACL 与 HermiT（经 owlready2 调用）实测演示本体的三大能力——机器自动归类、业务规则校验、能力问题查询，并讲清 OWL 2 RL 物化与 DL 推理器的分界。全部代码本地跑通（Python 3.13，2026-11-05）。

推理服务向用户承诺「99.9% 可用、P99 延迟 2 秒」——承诺的背后是一套 SLA 工程：SLO 的定义、错误预算的运营、容量规划的科学。本篇拆解推理服务 SLA 的特有指标（TTFT/TPOT 的分位数）、错误预算的纪律、以及容量规划的三步法。

OpenAI 的 Agents SDK 把 Agent 开发收进三个原语：Agents（带指令与工具的实体）、handoffs（智能体间移交）、guardrails（输入输出护栏）。本篇拆解这套最小主义设计、Responses API 的推理与工具内建、tracing 的开箱即用，以及它与 LangGraph 类重量框架的哲学分歧。

传统 RAG 的体验是「等待—出结果」：检索完才生成、生成完才展示。流式 RAG 改变了这个节奏：检索与生成并行、结果逐步出现。本篇拆解流式 RAG 的架构模式（渐进式检索、流式生成与流式 UI）、延迟优化策略，以及「让用户在等待中看到进展」的体验设计。

Agentic RAG 把检索从「固定管线」升级为「智能体的决策」：要不要检索、检索什么、从哪检索、结果够不够好——每一步都由 Agent 判断。本篇拆解它的核心模式（检索路由、查询规划、自我修正循环）、与传统 RAG 的分工边界、以及 Agentic RAG 的成本与延迟代价。

「压测一下」在推理服务上远比传统服务复杂：压什么指标（TTFT/吞吐）、怎么模拟真实流量（长度分布）、用什么工具（vLLM benchmark、k6、自研）。本篇拆解推理服务压测的方法论——场景设计、指标采集、瓶颈定位，以及压测报告的正确打开方式。

视觉语言模型（VLM）的服务化与纯文本模型不同：图像的预处理管线、多模态 KV 的显存压力、请求的异构性（图+文的组合）。本篇拆解多模态推理基础设施的特殊工程点——从请求处理到显存管理到成本核算。

长上下文不是把窗口开大就行：KV Cache 随序列长度线性膨胀，很快压过模型权重成为显存大头。本篇拆解 KV Cache 的来历与账单、多头注意力的三代瘦身方案（MQA/GQA/MLA）、稀疏与线性注意力的路线，以及「上下文长度」宣传数字背后的真实约束。

同一张 GPU，用 naive 推理脚本与用 vLLM，吞吐可以差 10 倍以上——差距的来源是两项工程创新：PagedAttention（显存的分页管理）与连续批处理（请求的动态编排）。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。

iptables 规则到底在哪里生效？答案是 netfilter 的五个钩子点（PREROUTING/INPUT/FORWARD/OUTPUT/POSTROUTING）与四张表（filter/nat/mangle/raw）的正交矩阵。本文讲清包流经协议栈时钩子的触发顺序、conntrack 连接跟踪的状态机、NAT 的实现与「第一条包建表、后续包查表」的快路径，以及 nftables 取代 iptables 的架构动因——把防火墙从「背命令」升级为「懂机制」。

On-policy distillation (OPD) trains a student on its own generations by matching the teacher's token probabilities. Thes…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Speculative decoding accelerates autoregressive (AR) language models by letting a small model draft tokens serially and …

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

Vision-language-action (VLA) models have shown strong promise for generalist robotic manipulation, but their inference c…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

★58,992、AGPL-3.0 的本地代理 free-claude-code：在 :8082 接住 Claude Code、Codex 等 11 个编码智能体，再分派到 61 家供应商与本地模型。拆解双协议入站、四档模型映射、有序 fallback 与流式四态恢复，以及 Python 3.14.7 锁版本、密钥集中等真实边界。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

PostgreSQL 18 把沿用多年的读路径换成异步 I/O 子系统，复合索引拿到 skip scan，虚拟生成列与 uuidv7 补齐开发者体验，pg_upgrade 首次保留优化器统计。本文以官方 release notes 为准逐项解析，梳理升级实操与行为变化，给出可执行的升级建议。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

PagedAttention 解决了「KV 内存怎么分页」，但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制，再靠零开销调度、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距，以及上手要点。

LeetCode 53 的题眼在状态定义：dp[i] 写成「以 i 结尾的最大子数组和」，转移一步到位；错写成「前 i 个的最大」就寸步难行。本文从 O(n²) 暴力讲到 O(1) 的 Kadane，再到分治进阶，附全负数边界与三解法对拍。

传统 APM 盯的是「请求是否 200」，LLM 应用的问题是「200 的请求答得对不对、花了多少钱」。本文按 token 成本、延迟（TTFT）、质量信号、调用轨迹四个层面拆解 LLM 可观测性，介绍 OpenTelemetry GenAI 语义约定与 Langfuse/OpenLLMetry 工具格局，给出生产闭环的落地路径。

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

On-policy distillation (OPD) has emerged as a widely used paradigm for post-training large language models, reducing the…

Prime Intellect 发布 Prime Inference 推理服务平台，提供无服务器端点和预留 GPU 容量，公开前内部日均处理近万亿 token，主要来自 RL rollout、合成数据生成、评测和长时编码智能体，补全其开源训练栈的服务环节。

On-policy self-distillation (OPSD) trains mathematical reasoning models using a privileged teacher that sees a reference…

Recent video-based world models pair the scalability of autoregressive (AR) prediction with the visual quality of diffus…

Long-context LLM agents accumulate interaction histories that strain KV-cache memory and attention computation. Although…

提出两阶段后训练框架 Salt++，通过因果自流（CSF）和上下文对齐的自回归 DMD，解决少步流式音视频生成中上下文相关难题。

We introduce Adaptive LeWorldModel (ALeWM), a world model based on a joint-embedding predictive architecture (JEPA) that…

Nokia’s applied research team has open-sourced AnyJev, a Python library that turns an open LLM into a decision model. It…

OpenAI has released GPT-6 Sol and GPT-6 Luna, 2 new models in its GPT-6 family. They sit below GPT-6 Astra, which launch…

To build and deploy sophisticated robotics applications that can perceive, reason and act in dynamic environments, devel…

Reinforcement learning has become a central component of large language model (LLM) post-training, yet token-level credi…

Alibaba's Qwen team has released Qwen-Image-2.1, a 7B diffusion transformer that handles text-to-image generation, multi…

Sparse on-policy distillation (OPD) allocates teacher supervision to a small subset of tokens in student-generated traje…

We present onPanda, an interactive tool for efficiently annotating LLM alignment data and agent trajectories. onPanda ad…

Jina AI has released jina-ocr-v1, a visual document parser that converts PDFs, scans, tables, charts and invoices into M…

Standard subword tokenizers either treat every orthographic variation of a word (such as hello, Hello, HELLO, and Héllo)…

Recent Omni-Modal Generative Models (Omni-Models) have advanced content generation toward unified modeling of text, imag…

In reinforcement learning for large language models, Proximal Policy Optimization (PPO) commonly uses a critic to estima…