模型层被巨头锁死、应用层卷成红海，但 AI 基础设施层（Infra）的创业窗口反而变宽了：GPU 云的转租生意、推理加速的中间件、数据合成的工业化、评测与安全的流水线——四条新窗口各有各的护城河逻辑。

买卡太贵、云租赁太持续——算力采购还有第三条路：裸金属租赁、二手卡市场与托管算力。本篇拆解算力采购的四种模式（云 API、云租赁、裸金属、自购）、各自的成本结构、二手 GPU 市场的现实，以及中小团队的采购决策框架。

GPU 在 Kubernetes 里是「整数个的扩展资源」，一块 H100 跑一个小推理服务就是浪费。本文拆解 Device Plugin 汇报机制、GPU Operator 的组件分工，对比时间片、MIG、MPS 三条共享路线的隔离性与适用场景，并展望 1.34 起 GA 的 DRA 会怎么改玩法。

系统梳理英伟达数据中心级 GPU 从 Pascal 到 Rubin 的完整产品谱系，附七代完整规格对比表、中国市场特供线专题、AMD/Intel 竞品对比、选型指南与 TCO 数据，数据截至 2026 年 9 月。

一张 A100 想给十个团队用、一张卡想同时跑三个小模型——GPU 共享的三条技术路线：MIG 的硬件级切分、vGPU 的虚拟化直通、时分复用的软件调度。本篇拆解三种路线的机制、隔离性与适用场景，以及「共享 GPU」的噪声与公平问题。

一个万卡集群每天都会有硬件故障——GPU 故障不是意外，是常态。本篇拆解 GPU 故障的类型学（ECC、掉卡、降频）、巡检与预测性维护、自动化的故障自愈，以及「把故障当日常来运营」的工程心态。

大模型把 Kubernetes 的资源管理推向硬边界：显存整卡规划、Pod 启动以分钟计、扩容受制于昂贵的 GPU。本文梳理 GPU 资源声明、调度要点、探针与扩缩容配置和治理清单，给出一份可落地的入门路径。

芯片发布一场接一场，参数眼花缭乱。本文不评具体产品，而是给一套分类框架：GPU 凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么，以及读芯片新闻时先问的三个问题。

英伟达推出采用 MoE 架构（总参数 1200 亿、激活 120 亿）的开放多模态模型 Nemotron 3.5 Super VL，整合推理、工具调用与文本、图像、文档、视频理解能力，称单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍，并公布多个企业定制案例与基准评测成绩。

多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题，配合连续批处理提升吞吐，并给出快速上手命令与常用参数。

IT之家 10 月 25 日消息，英伟达已经上市一段时间的 GeForce RTX 30 系列（代号安培，Ampere）显卡，显然还有大量尚未释放的计算潜力。GitHub 用户扎吉塔（Zagitta）开发了一款名为 GPU Unlock 的…

同一块 GPU 上，prefill 是计算受限的短跑冲刺，decode 是带宽受限的长跑——挤在一起互相拖累，一个长 prefill 能把解码速度拖慢最多 30 倍。本文讲透 2026 年成为默认架构的 PD 分离：干扰从哪来、KV cache 怎么搬、DistServe 与 Mooncake 交出的成绩单，以及什么时候该拆、什么时候千万别拆。

GPU-parallel simulation provides abundant robot interaction, but existing benchmarks rarely combine this scale with hete…

韩国宣布明年启动国家级前沿 AI 项目：3.9 万亿韩元采购 1 万块英伟达 Vera Rubin GPU，另投 8000 亿韩元建设训练数据。

Recent GPU kernel optimization agents retain what they learn in knowledge bases or as distilled skills. Kernel benchmark…

IT之家 10 月 4 日消息，Discord 官方账号在 X 平台透露，目前开发人员正在为 Discord 应用开发全新的“游戏模式（Game Mode）”。该功能可在检测到玩家启动游戏后，自动降低 Discord 应用的 CPU、GPU…

High-performance GPU kernels are essential to modern machine learning systems, yet automatically generating kernels that…

英伟达在 2024 年称当年它的 GPU 产品共使用了逾 10 亿 RISC-V 核心。这些 RISC-V 核心没有被用于图形渲染，而是充当了微控制器，执行各类辅助任务，根据型号不同，每个 GPU 包含了 10-40 个 RISC-V 核心…

IT之家 9 月 17 日消息，在接受游戏媒体 IGN 采访时，Valve 软件开发人员皮埃尔-卢普 · 格里费（Pierre-Loup Griffais）表示 已在 SteamOS 主开发树中启用英伟达驱动程序，部分 GPU 型号可初始化…

Benchmarks for LLM-generated GPU kernels decide correctness with a few random inputs and a loose floating-point toleranc…

听雨* 2026-09-26 15:12:05 来源：量子位 vLLM人马创业公司团队出品 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 16块谷歌TPU v7跑Kimi K3，每秒跑出了709个Token，比老黄的GB200快了…

!(https://www.gstatic.com/images/branding/googleg/1x/googleg_standard_color_128dp.png)Add as a preferredsource on Google…

IT之家 10 月 26 日消息，埃隆 · 马斯克（Elon Musk）在社交平台 X 上公开表示，SpaceX 已完成 **400 亿美元**（IT之家注：现汇率约合 2,675.68 亿元人民币）的债务融资，主要用于购买预计在 2027…

IT之家 10 月 12 日消息，开发者 Skylar Taylor-Barrick 开源了一套名为 gbos-vm 的项目，可在搭载 Apple Silicon 芯片的苹果 Mac 上，通过虚拟机运行谷歌 Googlebook OS。 该…

亚马逊 Strands Agents 团队开源了基于 Qwen3.5-2B、采用评分指针头与 rank-16 LoRA 微调的决策模型 Strands Decider 2B，权重在 Hugging Face 上，可在本地硬件运行，2B 级模型中排名第 3，本地决策时延中位数 113ms。

田, 晏林* 2026-09-26 17:01:00 来源：量子位 GitHub现在最火热的大模型开源小蜂鸟Colibrì是个啥？ 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 25GB笔记本硬跑744B GLM-5.2，32GB…

IT之家 9 月 23 日消息，夏威夷时间 9 月 22 日 9 点（北京时间 9 月 23 日 3 点）召开的 2026 骁龙峰会上，高通公司宣布推出第六代骁龙 8 超级至尊版移动平台和第六代骁龙 8 至尊版移动平台，**官方表示这是“全…

IT之家 9 月 20 日消息，苹果 M6 芯片近日出现在 Geekbench 跑分数据库中，其 12 核 CPU 分别录得 4071 分、22783 分的单核 / 多核成绩，已经能够在多核方面追平 M3 Max。 如今，苹果 M6 的 G…

Microsoft's AKS engineering team open-sourced TauGrid on August 28, 2026, packaging the tau CLI, Kueue queueing, KubeRay…

打破分子模拟“不可能三角”]

IT之家 9 月 13 日消息，继今年 7 月开源 LingBot-World 2.0 14B 模型后，蚂蚁灵波科技本周进一步开源三款模型：LingBot-World 2.0 Small（1.3B）、LingBot-World 2.0 Bi…

IT之家 9 月 12 日消息，据央视财经今日报道，今年服贸会首次推出“金融 + 科创”的联展模式，让金融机构联合他们所赋能的科创企业同台参展。展台上除了金融产品，还有智能机械臂、运载火箭模型、人形机器人等硬科技，背后是 算力贷、算力保、投…

★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。

鹭羽* 2026-10-11 13:22:38 来源：量子位 马斯克连横A社，硅谷VC开始囤GPU 鹭羽 发自 凹非寺 量子位 | 公众号QbitAI 没招了！硅谷为了争夺AI算力已经**彻！底！疯！狂！** 就连A社CEO Dario …

过去十几年，我们一直在靠更精细的资产、更复杂的光照和更强的 GPU，一点一点把游戏推向真实。 今天的游戏之所以能做到这样的画面，本身就是模型、材质、动画、光照和算力不断堆叠的结果。 而 DLSS 5 带来的，是另一种非常直接的变化。 打开它…

白天推理高峰、训练占卡；训练希望整周独占、推理要有兜底容量——训推共存的集群需要一个调度设计。本篇拆解训推一体的资源矛盾、错峰调度的三种模式（抢占、分区、弹性分区）、以及「在线优先」的调度纪律。

千卡集群的网络怎么设计？Fat-Tree 用带宽换无阻塞，Rail-optimized 让「同序号 GPU 一跳直达」。本篇拆解两种拓扑的设计逻辑、NCCL 如何利用拓扑、以及「为什么 AI 集群的网络设计是一门专门学问」。

千卡训练的每一秒，GPU 之间都在交换海量数据——传统 TCP 网络撑不住，RDMA 与 GPUDirect 让数据「绕过 CPU 直接进出显存」。本篇拆解 AI 集群通信的分层（NVLink→RDMA→TCP）、GPUDirect RDMA 的零拷贝机制、以及网络性能对训练吞吐的决定性影响。

克雷西* 2026-11-03 11:16:23 来源：量子位 GPU迭代一百次的事，它一步做完 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 人类用了两千年的模拟计算，开始被重新定义了。 在一本专注于非传统计算的Nature旗下…

同一张 GPU，用 naive 推理脚本与用 vLLM，吞吐可以差 10 倍以上——差距的来源是两项工程创新：PagedAttention（显存的分页管理）与连续批处理（请求的动态编排）。本篇拆解这两项技术的机制、vLLM 生态的位置、以及「什么时候该用推理引擎、什么时候杀鸡不必用牛刀」。

GPU 很贵，但让 GPU 排队等网络的往往是操作系统——数据包要过内核协议栈、要在内存里来回拷贝。RDMA 用「内核旁路 + 零拷贝」把这条路打通成内存对内存的直通车，把延迟压到微秒级。本文讲透 RDMA 的三大机制、三条传输路线，以及为什么它成了 AI 集群的标配。

DeepSeek 宣布全面开源支撑 V4.1 Flash 线上服务的内部推理框架 DeepInfer，支持推测解码、分布式推理等能力，兼容英伟达 GPU 与华为昇腾。

论文提出StreamErase，通过将双向基础模型的擦除能力迁移到单向流式生成器，在单张GPU上实现最高26 FPS、亚秒级延迟的流式视频物体移除。

IT之家 10 月 12 日消息，AMD 当地时间今日正式发布了基于锐龙 AI Max+ PRO 495 处理器的新一代锐龙 AI Halo 开发者平台。 相比初代设备，新产品 CPU、GPU、NPU 性能均有改进。而最为关键的是，**其支…

论文提出分块流式几何基础模型 Drive3R，通过分块因果注意力解决自动驾驶长序列多视图3D重建中GPU内存与全局注意力二次复杂度的瓶颈。

FlashAttention 不近似、不改公式，却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标：分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配，以及它管不了的事：KV cache 与自定义 mask。

NVIDIA 新卡发布的节奏，很多时候不是被 4nm 产线决定的，而是被台积电一项叫 CoWoS 的 2.5D 封装产能决定的——它把 GPU 裸片和 HBM 并排装进同一个封装。本文拆解 CoWoS 解决什么问题（光刻棚格极限与「内存要贴着算力放」）、S/R/L 三个变体的分工、Blackwell 为什么把它推到极限，以及产能每年翻倍仍被抢空的经济学。

看 GPU 规格表，带宽那行数字比 FLOPS 更能决定大模型推理的快慢——HBM 用「立体堆叠 + 超宽接口」两个动作，把内存带宽做到了同代 DDR 的十几倍。本文拆解 HBM 的原理、四代演进、良率与封装的难点，以及它为什么既是 AI 芯片的标配，又是整条产业链最紧的瓶颈。

标准注意力的瓶颈不在算力而在显存读写：O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax，在不丢精度（数学上完全等价）的前提下把显存从 O(N²) 降到 O(N)，并梳理 FA2/FA3 两代演进与适用边界。

真机试错又贵又慢又危险，仿真里的动作却近乎免费——但仿真和现实隔着一道「现实差距」。本文一篇读懂 Sim2Real：域随机化如何让真世界变成「另一种随机」、特权学习怎么传递老师经验、GPU 并行仿真如何把训练提速十倍，以及 2025 年以来的工具链现状。