骁龙 8 Elite Gen 5、天玑 9500、苹果 A19 Pro 的 NPU 各有说法，但手机上跑 LLM 的速度上限不由 TOPS 决定——解码阶段的每一步都要把整个模型从内存里搬一遍。本文用带宽公式算清端侧到底能跑多大模型，并梳理三大芯片平台的真实取向。

看 GPU 规格表，带宽那行数字比 FLOPS 更能决定大模型推理的快慢——HBM 用「立体堆叠 + 超宽接口」两个动作，把内存带宽做到了同代 DDR 的十几倍。本文拆解 HBM 的原理、四代演进、良率与封装的难点，以及它为什么既是 AI 芯片的标配，又是整条产业链最紧的瓶颈。

IT之家 10 月 12 日消息，微软今天正式发布 Maia 300 人工智能芯片。这款产品配备 288GB HBM4 内存，带宽达到 18TB/s，FP4 算力可达 13.8 PFLOPS，基于台积电 N2P 制程工艺打造，计划 2027…

解码阶段的大模型是内存带宽问题：一次前向读完几十 GB 权重，却只产出一个 token。投机解码让小模型先猜几个、大模型一次前向并行验证，修正拒绝采样保证输出分布完全不变——2 到 6.5 倍加速的「免费午餐」。本文拆解它的数学、三代草稿方案与 2026 年的工程现状。

从骁龙 8 Elite Gen 5 的 Hexagon NPU 到苹果 AFM 3 端侧模型家族，梳理 2026 年手机端侧大模型的硬件底座（NPU 算力与约 85 GB/s 的内存带宽瓶颈）、3B 级模型格局、4-bit 量化与主流端侧推理框架，以及哪些场景仍必须回云。

大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token，整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史，算清每一代省下的账，讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价，以及 GQA 与 MLA 两大阵营至今未歇的路线之争。

「这个元素我见过吗？」——这个问题哈希表要用全部 key 的内存来回答，布隆过滤器只需要每元素不到 10 个 bit：它可能把没见过的说成见过（1% 概率），但绝不会把见过的说成没见过。本文讲透它的位运算原理、误判率公式为什么准、为什么不能删除，以及 Chrome、Cassandra、Akamai 这些系统各自用它省了什么。

IT之家 10 月 8 日消息，微软中国商城今天（10 月 8 日）上架 Surface Laptop Ultra，**共有亮铂金和夜幕色两种颜色，起售价为 21,988 元，128GB 内存顶配售价为 48,388 元。** 官方介绍如下…

PagedAttention 解决了「KV 内存怎么分页」，但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制，再靠零开销调度、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距，以及上手要点。

IT之家 10 月 13 日消息，市场调查机构 CounterPoint Research 昨日（10 月 12 日）发布博文，报告称由于持续的内存短缺，影响全球大多数 OEM 厂商出货，**导致 2026 年第三季度全球智能手机出货量同比…

IT之家 10 月 11 日消息，微软美国官网显示，Surface Laptop Ultra 笔记本 128GB 统一内存、1TB SSD 配置已经缺货，该产品定价 5,899.99 美元（IT之家注：现汇率约合 39,570 元人民币），…

由于 DDR5 内存条过于昂贵，上一代的 DDR4 内存条再次回归。技嘉宣布将于 2027 年初上市支持 DDR4 内存的新的 Intel LGA 1700 主板，而今年八月技嘉宣布推出了支持 DDR4 内存的新 AMD AM4 主板。DD…

IT之家 10 月 7 日消息，《韩国经济日报》当地时间今日报道称，三星电子存储器业务的 12 层堆叠 HBM4E 内存已于 9 月末通过 NVIDIA（英伟达）和主要超大规模数据中心企业的质量验证测试，**各客户的供货量、合同规模、出货时…

IT之家 10 月 5 日消息，随着内存成本持续上涨，微软正将“降低 Windows 11 内存占用”列为 2026 年剩余时间的重要工作之一。 微软 Windows 与设备业务负责人帕万 · 达武卢里（Pavan Davuluri）在官方…

马斯克表示特斯拉 AI5 芯片不再采用 72GB LPDDR5 内存，而是改用 96GB 内存，此前因内存供货紧张曾削减内存规格，AI5 芯片已完成流片，将用于自动驾驶与 Optimus 人形机器人业务。

IT之家 10 月 2 日消息，英伟达今天正式对外披露 DGX Spark 产品更新，推出 64GB 内存版本 DGX Spark 桌面 AI 计算机，起售价 4,999 美元（现汇率约合 33,566 元人民币），将于 10 月 23 日…

IT之家 9 月 26 日消息，科技媒体 MacRumors 昨日（9 月 25 日）发布博文，报道称其撰稿人 Aaron Perris 通过挖掘苹果公司代码，**发现 iPad 12 将配备 A19 芯片、8GB 内存、N1 网络芯片和 …

IT之家 9 月 10 日消息，苹果 iPhone 18 Pro 系列手机今日正式发布，官方没有提到新机的内存容量，不过据 MacRumors 今日报道，在最新版本的 Xcode 27 中，苹果已透露了这一信息。 iPhone 18 Pro…

论文提出分析内存单元（AMU），为智能体共享内存中的缓存结果附加完整派生（血缘）图谱，仅在请求者对涉及的所有列均有权限时才返回命中，以防止敏感数据经合法计算结果泄露，并证明该策略按构造可阻断此类检索。

澜起科技宣布其 CK01P 客户端时钟驱动器量产，支持 9200 MT/s 数据传输速率，面向 DDR5 CUDIMM 等下一代客户端内存模组。

多请求并发时 KV Cache 的预留式分配让 GPU 显存大量空转、吞吐卡死。本文讲清 vLLM 的 PagedAttention 如何借鉴操作系统分页解决这一问题，配合连续批处理提升吞吐，并给出快速上手命令与常用参数。

微软举办特别发布会，推出搭载 NVIDIA RTX Spark Superchip 的 Surface Laptop Ultra（2599.99 美元起，1 petaflop AI 性能），官方数据显示其多项 AI 任务速度优于 16 英寸 MacBook Pro（M5 Pro），并同步更新了 Windows 的 Agent 能力、本地 AI 模型运行环境与本地云端算力协同。

IT之家 10 月 8 日消息，太平洋时间 10 月 7 日上午 10 点（北京时间 10 月 8 日凌晨 1 点）在美国旧金山举办的发布会上，英伟达发布 DGX Station for Windows，**定位为桌面级 AI 超级计算机，…

IT之家 10 月 12 日消息，AMD 当地时间今日正式发布了基于锐龙 AI Max+ PRO 495 处理器的新一代锐龙 AI Halo 开发者平台。 相比初代设备，新产品 CPU、GPU、NPU 性能均有改进。而最为关键的是，**其支…

FlashAttention 不近似、不改公式，却把注意力训练速度提高数倍、显存从 O(N²) 降到 O(N)——靠的是把「少走显存」当成一等目标：分块装进片上内存、用 online softmax 增量修正、达到 IO 复杂度理论下界。本文拆解它的算法原理与 v1→v2→v3 三代硬件适配，以及它管不了的事：KV cache 与自定义 mask。

NVIDIA 新卡发布的节奏，很多时候不是被 4nm 产线决定的，而是被台积电一项叫 CoWoS 的 2.5D 封装产能决定的——它把 GPU 裸片和 HBM 并排装进同一个封装。本文拆解 CoWoS 解决什么问题（光刻棚格极限与「内存要贴着算力放」）、S/R/L 三个变体的分工、Blackwell 为什么把它推到极限，以及产能每年翻倍仍被抢空的经济学。

“IT早报”时间，大家好，现在是 2026 年 10 月 11 日星期日，今天的重要科技资讯有： 1. 苹果首款智能家居中枢渲染图曝光：6 英寸方屏、8GB 内存，可桌放 / 壁挂 YouTube 频道 fpt. 主播乔恩 · 普罗瑟（Jo…

标准注意力的瓶颈不在算力而在显存读写：O(N²) 的注意力矩阵要在 HBM 里反复进出。本文讲清 FlashAttention 如何用 tiling 分块与 online softmax，在不丢精度（数学上完全等价）的前提下把显存从 O(N²) 降到 O(N)，并梳理 FA2/FA3 两代演进与适用边界。

IT之家 9 月 22 日消息，后摩智能 (HOUMO.AI) 在近日举行的 2026 全球 AI 芯片峰会上确认，该公司**下代大模型端边 AI 芯片将采用 3D CIM 存算一体架构**，结合融合存算与 3D DRAM 技术。 这款新一…

💻苹果官宣 10 月 13 日发布新品、首款触屏 MacBook Pro 月底亮相 💸曝三星手机业务四季度最高减产 30%，内存涨价压缩利润 🧠OpenAI 推出 GPT-6.1 Sol Ultrafast，速度最高提升至 8 倍 ���

华为宣布 DevEco Studio 上线鸿蒙 PC 并开启公测，DevEco Code 与 DevEco CLI 同步首次公测，要求 HarmonyOS 7.0.0.107 及以上、16GB 内存等条件。

RAG、推荐、去重的共同底层需求是「找最相似的 K 个向量」。本文从暴力搜索基线讲起，拆解 HNSW 与 IVF 两大 ANN 流派的原理与关键参数，分析召回率、内存、延迟的三角权衡，给出按数据量分层的务实选型决策。

有用户通过 USB-C 将 iPhone 17 Pro Max 外接至 24GB 内存的 M4 Pro MacBook Pro，借助自制软件将 Qwen3.8-27B 模型的运算任务在两台设备间拆分协同处理，使预填充性能最高提升 44%。

IT之家 9 月 28 日消息，ACEMAGIC 今天宣布推出 F9A 迷你主机，这是全球首款搭载锐龙 AI Max+ 495 处理器的 AI 工作站，**配备 192GB 内存和 2TB 硬盘**，定价 6,499 美元（IT之家注：现汇…

因 AI 热导致内存和存储器价格暴涨，全球 PC 出货量三季度暴跌逾 20%。Omdia 的最新数据显示 2026 年第三季度全球台式机、笔记本电脑和工作站的总出货量同比下降 21.2% 至 5810 万台。IDC 的数据类似估计出货量下降…

多头潜在注意力（MLA）是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座：把 K/V 低秩压缩进一个 512 维潜在向量，推理时缓存量只有完整 MHA 的约 1.8%，官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计，以及专用 Kernel、前缀缓存兼容等真实工程代价。

IT之家 10 月 8 日消息，戴尔今天（10 月 8 日）在 X 平台发布博文，宣布推出 XPS 16 Creator Edition 笔记本，**配备英伟达 RTX Spark 平台芯片，32GB 内存 +512 GB 尺寸版本售价为 …

DeepSeek-V3 有 671B 参数，每个 token 却只动用 37B 的计算量——这不是营销话术，而是混合专家架构（MoE）把「模型容量」和「每 token 算力」拆开的结果。本文从 dense 模型的容量两难讲起，拆解路由器与稀疏激活的工作机制、负载均衡的三代方案、DeepSeekMoE 的细粒度设计，也说清 MoE 的两个代价：省 FLOPs 但不省显存，以及「专家」并不按领域分工的反直觉事实。

Mamba 把 SSM 参数改成输入的函数，让固定大小的状态学会按内容取舍；再靠并行扫描与 kernel 融合把状态装进 SRAM，线性复杂度落地——3B 匹敌两倍大的 Transformer，5 倍推理吞吐，线性扩展到百万长度。文末梳理截至 2026-10 它与 Attention 的分工现状。

IT之家 9 月 22 日消息，据消息人士 Roland Quandt 今日透露，微软内部正在研发代号为“Minos”的新型 Surface 电脑。 据介绍，**该产品搭载 12 英寸小屏幕**，提供 24GB/32GB 内存，以及 512…

能跑大模型只是 AI PC 的起点 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。 ]

把 AI 计算放在最适合计算 AI 的地方去。 #欢迎关注爱范儿官方微信公众号：爱范儿（微信号：ifanr），更多精彩内容第一时间为您奉上。 ]

IT之家 9 月 15 日消息，红魔游戏手机产品总经理姜超今日发文，称内存涨价对整个行业冲击不小，红魔手机和平板两条线都实现了逆势增长。 另外，姜超还超前预热了红魔 12 系列手机： 1）红魔 12 ，为真正的玩家而生， 只升配，不降配 ，…

★36,402、Apache-2.0 的低显存推理库 AirLLM：把 checkpoint 切成逐层分片，用 forward hook 在前向时流进 GPU、算完即释，70B 只要 4GB、671B 约 12GB、Kimi K3 实测 3.72GB。拆解 meta device + 2GiB pin 上限 + MoE 按专家流式的取舍，以及社区实测 5–35 秒/token 的真实代价。

从 Attention Is All You Need 的 encoder-decoder 原型，到 MLA、MoE、iRoPE 缀满一身的 2026 旗舰，本文系统拆解基础 Transformer 的架构原理，梳理八年来 KV 压缩、位置编码、稀疏专家三条演进主线，并给出 DeepSeek、Llama、Qwen、Gemini 等旗舰架构的横向对比地图。

八个摄像头各自看世界，每张图都是不同的透视——让它们对齐到同一张俯视网格里，是自动驾驶感知十年来的核心工程问题。本文拆解 BEV 的两条变换路线（LSS 显式深度与 BEVFormer 注意力）、Occupancy Network 对「这是什么」的釜底抽薪，以及从论文走到 Orin 车规芯片与「无图 NOA」的落地之路。

芯片发布一场接一场，参数眼花缭乱。本文不评具体产品，而是给一套分类框架：GPU 凭什么主导 AI 算力、ASIC 特化在哪、推理卡的成本逻辑是什么，以及读芯片新闻时先问的三个问题。

想在笔记本上跑大模型，Ollama 是门槛最低的路径之一。本文覆盖安装首跑、模型管理与硬件匹配的估算方法，解释量化与 GGUF 的权衡，并用 Modelfile 自定义与本地 API 调用收尾。

听雨* 2026-09-26 15:12:05 来源：量子位 vLLM人马创业公司团队出品 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 16块谷歌TPU v7跑Kimi K3，每秒跑出了709个Token，比老黄的GB200快了…

IT之家 9 月 23 日消息，夏威夷时间 9 月 22 日 9 点（北京时间 9 月 23 日 3 点）召开的 2026 骁龙峰会上，高通宣布携手阶跃、无量火及江波龙，基于第六代骁龙 8 超级至尊版移动平台，**端侧适配与推理优化阶跃 S…