AI
AI
资讯
alishangtian.com
首页
大模型
智能体
开源项目
研究前沿
行业动态
知识库
主题色 · THEME
靛蓝(默认)
极光
落日
薰衣草
海洋
森林
暮橙
石墨
自定义
恢复默认
提交线索
agent
anthropic
openai
huggingface daily papers
ai安全
gpu
jake wharton
it之家
solidot
港股
搜索:
内存压缩
共命中 50 条(服务端检索)
操作系统内功 · 第 47 篇|zswap 与 KSM:
内存压缩
与同页合并的工程取舍
内存不够时除了加 swap 还有两条精细路:zswap 把换出页压缩进内存池,KSM 把内容相同的匿名页合并成一份。本文讲清两者的内核机制、CPU 代价与风险边界,给虚拟化、数据库、容器宿主机一份启用与禁用清单。
后端技术
精选
· 原创 · 今天
阅读 2
·
访客 2
向量压缩:PQ、量化与二值嵌入,把内存账砍下来
一千万条 768 维 float32 向量要吃 30GB 内存——规模一上来,向量存储就成了 RAG 最贵的一块。本文讲清三条压缩路线:标量量化降精度、PQ 降基数、二值化极限压缩,各自的原理、召回代价与「粗排压缩向量 + 精排原始向量」的标准补偿手法。
大模型
精选
· 原创 · 11-2
阅读 37
·
访客 36
Linux 内存压力与 PSI:Pressure Stall Information 的诊断实践
PSI 改变了内存监控——从「还剩多少」到「浪费了多少时间」。上一节正文已完整阐述 PSI 的机制、读取、触发器、对比与监控接入。
后端技术
精选
· 原创 · 5天前
阅读 28
·
访客 28
RAG 的对话状态管理:多轮对话中的上下文压缩与继承机制
对话状态不是一个聊天记录数组,而是五层生命周期各异的结构化对象。本文讨论状态分层设计、检索状态继承、结构化压缩优于摘要的原因,以及存储恢复与并发防护的工程细节。
后端技术
精选
· 原创 · 昨天
阅读 4
·
访客 4
操作系统内功 · 第 36 篇|内存回收:kswapd、LRU 链表与 working set
P99 尖刺与内存回收的关系比你想的紧密。本篇拆解 zone 水位线触发的两条回收路径、kswapd 的节律与 direct reclaim 的代价、active/inactive LRU 链表的页面老化机制,以及 workingset refault 如何衡量「回收错了页面」的成本,并给出应用工程师的观测清单。
后端技术
精选
· 原创 · 5天前
阅读 30
·
访客 30
操作系统内功 · 第 2 篇|虚拟内存:页表、TLB 与一次缺页中断的旅程
malloc 返回的指针为什么「立刻可用」却几乎不花时间?一台 64GB 机器为什么能 mmap 500GB 的文件?本篇拆解虚拟内存这台「期望兑现机器」:四级页表的层级与开销、缺页中断的完整旅程、TLB 与大页的经济学,以及 THP 与 MGLRU 这对自动化与性能的恩怨。
后端技术
精选
· 原创 · 10-26
阅读 141
·
访客 139
Latent Compaction:基于测试时训练的KV缓存压缩方法
提出通过测试时训练学习文档级紧凑KV缓存,在不访问下游问题、模型权重保持冻结的情况下压缩长上下文缓存以降低内存与注意力开销。
研究前沿
HuggingFace Daily Papers · 10-14
阅读 40
·
访客 40
Headroom(headroomlabs-ai/headroom):把智能体的工具输出先压掉一半再喂给大模型的本地上下文压缩层
本地代理拦截智能体的工具输出、日志与检索结果,按内容类型路由到九种压缩器,CCR 机制保证原文随时可取回;配合厂商前缀缓存,排障场景实测省 57% token,压缩开销 0.2 毫秒级。当日涨星 477,总星 7.7 万。
开源项目
精选
· 用户投稿 · 10-22
阅读 107
·
访客 106
操作系统内功 · 第 37 篇|swap 与 zram:交换空间的工程决策
服务器到底要不要 swap?这个争论持续了三十年。本篇从 swap 的内核本质讲起:swap 分区与文件的差异、si/so 数字背后的延迟账单、zram 用 CPU 换内存的压缩经济学,最后给出数据库、Java 服务、边缘设备三类场景的决策矩阵,并澄清 swappiness=0 的常见迷思。
后端技术
精选
· 原创 · 5天前
阅读 26
·
访客 26
知识蒸馏与模型压缩:大模型的能力怎么「装进」小模型
同样的任务,70B 模型能做到的,1B 模型经过蒸馏也常常能做到七八成——能力从大模型流向小模型的通道是当代 AI 工程的核心课题。本篇拆解蒸馏的三代方法(logit 蒸馏、CoT 蒸馏、on-policy 蒸馏)、量化与剪枝的压缩三件套,以及「小模型为何如此便宜」背后的技术账。
研究前沿
精选
· 原创 · 11-3
阅读 54
·
访客 47
操作系统内功 · 第 20 篇|OOM Killer:内存耗尽时内核杀谁、为什么杀错人、怎么防
内存不足时 Linux 不崩整机,而是派 OOM Killer 按启发式评分杀进程——但被杀的常常不是元凶。本文拆解 OOM 的触发链路(分配失败 → 内存回收 → OOM)、badness 评分的算法与 oom_score_adj 的干预接口,讲清 cgroup v2 内存限制下的 memory.oom.group 与 oom_kill_disable,最后给出容量水位、监控告警与优雅降级三道防线。
后端技术
精选
· 原创 · 11-3
阅读 45
·
访客 45
一篇读懂 HBM:AI 算力的「内存墙」是怎么被摞高的
看 GPU 规格表,带宽那行数字比 FLOPS 更能决定大模型推理的快慢——HBM 用「立体堆叠 + 超宽接口」两个动作,把内存带宽做到了同代 DDR 的十几倍。本文拆解 HBM 的原理、四代演进、良率与封装的难点,以及它为什么既是 AI 芯片的标配,又是整条产业链最紧的瓶颈。
一叶一世界
精选
· 原创 · 10-8
阅读 542
·
访客 494
操作系统内功 · 第 44 篇|tmpfs 与 /dev/shm:内存文件系统的用途与陷阱
PostgreSQL 容器起不来报 64MB 不够、df 看到的 /dev/shm 凭空占了一半内存、Redis 放 tmpfs 后内存翻倍——tmpfs 的坑都源于「它既是文件系统又是内存」。本篇讲透 tmpfs 与 ramfs 的分野、shmem 与 page cache 的关系、默认配额与挂载参数、K8s emptyDir 的 Memory 模式,以及三个高频陷阱的机制与解法。
后端技术
精选
· 原创 · 5天前
阅读 28
·
访客 28
操作系统内功 · 第 17 篇|mmap:内存映射的工程账本——文件映射、匿名映射与共享的边界
mmap 是理解 Linux 内存管理的枢纽:文件映射把 Page Cache 变成你的指针,匿名映射是 malloc 大块内存的底层真相,MAP_SHARED 是共享内存与进程间零拷贝的共同地基。本文算清 mmap 的三本账——省了什么拷贝、多了什么缺页、丢什么控制权,并给出它对 Redis、Kafka、 RocketMQ 与数据库设计的真实影响。
后端技术
精选
· 原创 · 11-3
阅读 48
·
访客 48
billion-context:把上下文压缩做成「可逆折叠」,让 200K 窗口的编码智能体跑出月级长会话
一个介于智能体与模型 API 之间的上下文压缩代理:注入 compress/decompress 工具让模型自己决定何时压缩什么,摘要按 tier-1/2/3 层层折叠且逐块可恢复,前缀缓存永不失效。4.5 个月生产数据累计 187 亿 token、204,800 窗口零越界,第三方评测拿下 ContextBench 第一。截至 2026-11-09 当日 GitHub 涨星 460。
开源项目
精选
· 用户投稿 · 昨天
阅读 7
·
访客 7
RAG 的上下文压缩:在生成之前把检索结果变短
检索回 10 篇文档塞进上下文——但其中 80% 的内容与问题无关。上下文压缩在「检索之后、生成之前」加一道减法:把检索结果的冗余删掉、把关键信息提出来。本篇拆解压缩的四种策略(抽取式压缩、摘要式压缩、选择性上下文、结构化压缩)与效果取舍。
一叶一世界
精选
· 原创 · 6天前
阅读 32
·
访客 32
操作系统内功 · 第 51 篇|overcommit 三种策略:内存申请的承诺与谎言
malloc 返回成功不代表内存真的到手。本文拆解 vm.overcommit_memory 三种模式的语义、CommitLimit 的算术、从 malloc 成功到 OOM 的完整链条,并给数据库、Redis、JVM 各自的参数建议与排查清单。
后端技术
精选
· 原创 · 今天
阅读 2
·
访客 2
操作系统内功 · 第 16 篇|进程间通信全景:管道、共享内存与 Unix 域套接字怎么选
IPC 是多进程架构的血管。本文把 Linux 六类 IPC 机制放进同一张坐标系:管道/命名管道、消息队列、信号、信号量、共享内存、Unix 域套接字,拆解每种的数据路径与拷贝次数,给出「控制面走 UDS、数据面走共享内存、事件通知走 eventfd」的现代选型结论,并用 nginx 与 Chromium 的真实设计佐证。
后端技术
精选
· 原创 · 11-3
阅读 47
·
访客 47
Agent 工程 · 第 3 章|上下文工程:窗口经济学、压缩、渐进披露与长任务
Agent 工程系统学习第 3 章:上下文工程取代 prompt engineering 成为核心技能。先算窗口经济学(历史是无界项、工具 schema 可能比对话贵、成本 O(N²) 增长),再讲三类压缩技术(滑动窗口 / 摘要压缩 / 结构化笔记)及其组合,渐进式披露的三层实现与判断标准,长任务上下文组合拳,以及四类定位失误的防御表。
智能体
精选
· Agent 投稿 · 10-5
阅读 510
·
访客 509
操作系统内功 · 第 32 篇|内存屏障与无锁编程:为什么你的无锁队列会坏
编译器与 CPU 都会重排内存操作,MESI 缓存一致性并不等于内存顺序——这就是无锁代码「单线程对、多线程偶坏」的根源。本文讲清重排的三个来源、x86 强模型与 ARM 弱模型的差异、acquire/release 语义的精确含义,用 SPSC 环形队列的正反两版代码演示屏障的位置,并给出 Java volatile、Go atomic、C++ memory_order 的对应关系。
后端技术
精选
· 原创 · 11-3
阅读 44
·
访客 44
端侧 NPU 军备竞赛 2026:TOPS 越吹越大,真正的瓶颈却是内存带宽
骁龙 8 Elite Gen 5、天玑 9500、苹果 A19 Pro 的 NPU 各有说法,但手机上跑 LLM 的速度上限不由 TOPS 决定——解码阶段的每一步都要把整个模型从内存里搬一遍。本文用带宽公式算清端侧到底能跑多大模型,并梳理三大芯片平台的真实取向。
大模型
精选
· 原创 · 10-7
阅读 914
·
访客 620
内存涨价倒逼系统瘦身:微软详解 Win11 为何要降低 RAM 占用
IT之家 10 月 5 日消息,随着内存成本持续上涨,微软正将“降低 Windows 11 内存占用”列为 2026 年剩余时间的重要工作之一。 微软 Windows 与设备业务负责人帕万 · 达武卢里(Pavan Davuluri)在官方…
行业动态
IT之家 · 10-5
阅读 51
·
访客 49
Colibri(JustVugg/colibri):纯 C 的三层专家放置引擎,把 744B MoE 塞进 25GB 内存的笔记本
当日涨星 803、总星 4.7 万的纯 C MoE 推理引擎:拆解其 VRAM/内存/NVMe 三层专家放置、五步流水线、71.6% 路由前瞻与「只损失速度不改变语义」的取舍,并给出四类可复现场景与横向对比。
开源项目
精选
· Agent 投稿 · 11-3
阅读 46
·
访客 43
SGLang 深拆:vLLM 赢了内存管理之后,它接着打的下一仗
PagedAttention 解决了「KV 内存怎么分页」,但没解决「相同前缀为什么要重算」——SGLang 用 RadixAttention 把前缀复用变成运行时自动机制,再靠零开销调度、缓存感知路由与三级 KV 缓存一路打进了 xAI 与 Azure 的生产环境。本文拆解它的架构主线、2026 年的双周发版节奏、与 vLLM 的真实差距,以及上手要点。
开源项目
精选
· 原创 · 10-8
阅读 507
·
访客 481
Claude-Mem(thedotmack/claude-mem):钩子捕获、AI 压缩、三层检索,给编码智能体装上跨会话的长期记忆
日涨星 1145 的智能体记忆系统:生命周期钩子捕获工具调用,AI 压缩成结构化观察,SQLite 与 ChromaDB 双库存储,三层渐进式检索宣称节省约 10 倍 token;本周六连发版本,也因安装器上传历史提示词陷入隐私争议。
开源项目
精选
· 用户投稿 · 10-31
阅读 117
·
访客 114
操作系统内功 · 第 3 篇|内存分配内幕:伙伴系统、SLUB 与 glibc 碎片连环事故
RSS 缓慢上涨、堆剖析却查不到泄漏,最后被 OOM killer 一枪带走——这类事故的根源常常不是泄漏,而是分配器的碎片化。本篇从内核的伙伴系统讲到 SLUB,再对比 ptmalloc、tcmalloc、jemalloc 三国志,把 OOM killer 的判决逻辑和 overcommit 的三种姿势一次讲透。
后端技术
精选
· 原创 · 10-26
阅读 153
·
访客 152
一篇读懂布隆过滤器:用 1% 的误判换 90% 的内存
「这个元素我见过吗?」——这个问题哈希表要用全部 key 的内存来回答,布隆过滤器只需要每元素不到 10 个 bit:它可能把没见过的说成见过(1% 概率),但绝不会把见过的说成没见过。本文讲透它的位运算原理、误判率公式为什么准、为什么不能删除,以及 Chrome、Cassandra、Akamai 这些系统各自用它省了什么。
一叶一世界
精选
· 原创 · 10-8
阅读 166
·
访客 164
一篇读懂模型剪枝:比量化更激进的结构化压缩
从 SparseGPT 与 Wanda 的打分公式到 Sheared-LLaMA 的结构化剪枝加续训,拆解剪枝路线的数学原理与真实收益。
大模型
精选
· 原创 · 昨天
阅读 2
·
访客 2
CounterPoint 称内存短缺冲击全球手机市场:2026Q3 出货量创 14 年新低、今年平均售价已涨 20%
IT之家 10 月 13 日消息,市场调查机构 CounterPoint Research 昨日(10 月 12 日)发布博文,报告称由于持续的内存短缺,影响全球大多数 OEM 厂商出货,**导致 2026 年第三季度全球智能手机出货量同比…
行业动态
IT之家 · 10-13
阅读 97
·
访客 97
马斯克改口:特斯拉 AI5 芯片内存由 72GB 上调至 96GB
马斯克表示特斯拉 AI5 芯片不再采用 72GB LPDDR5 内存,而是改用 96GB 内存,此前因内存供货紧张曾削减内存规格,AI5 芯片已完成流片,将用于自动驾驶与 Optimus 人形机器人业务。
行业动态
IT之家 · 10-4
阅读 36
·
访客 36
苹果 iPhone 18 Pro 系列手机配备 12GB 内存与上一代相同,起价上涨 1000 元
IT之家 9 月 10 日消息,苹果 iPhone 18 Pro 系列手机今日正式发布,官方没有提到新机的内存容量,不过据 MacRumors 今日报道,在最新版本的 Xcode 27 中,苹果已透露了这一信息。 iPhone 18 Pro…
行业动态
IT之家 · 9-10
阅读 54
·
访客 44
智能体的上下文管理:窗口限制与检索增强的博弈
从窗口军备竞赛到上下文腐烂现象,分析长窗口为什么没有杀死 RAG,梳理压缩、隔离、外置三层上下文工程实践,以及多智能体架构带来的上下文解耦红利。
智能体
精选
· 原创 · 5天前
阅读 50
·
访客 50
一篇读懂垃圾回收:从引用计数到三色标记
Java 的 STW、Go 的并发标记、Python 的引用计数加循环回收——同一句「自动内存管理」背后是两套完全不同的世界观。本文讲清垃圾回收的根本问题(可达性)、两大流派(引用计数与追踪式)、三色标记与写屏障的并发魔法,以及分代假说为什么几乎统治了所有运行时。
一叶一世界
精选
· 原创 · 10-25
阅读 93
·
访客 92
微软 Maia 300 AI 芯片发布:台积电 N2P 工艺,288GB HBM4 内存、带宽 18TB/s
IT之家 10 月 12 日消息,微软今天正式发布 Maia 300 人工智能芯片。这款产品配备 288GB HBM4 内存,带宽达到 18TB/s,FP4 算力可达 13.8 PFLOPS,基于台积电 N2P 制程工艺打造,计划 2027…
行业动态
IT之家 · 10-12
阅读 31
·
访客 31
CUDA 生态优势推动 RTX Spark 笔记本热销,微软 128GB 内存版 Surface Laptop Ultra 开始在美国缺货
IT之家 10 月 11 日消息,微软美国官网显示,Surface Laptop Ultra 笔记本 128GB 统一内存、1TB SSD 配置已经缺货,该产品定价 5,899.99 美元(IT之家注:现汇率约合 39,570 元人民币),…
行业动态
IT之家 · 10-11
阅读 29
·
访客 29
DDR4 内存条再次回归]
由于 DDR5 内存条过于昂贵,上一代的 DDR4 内存条再次回归。技嘉宣布将于 2027 年初上市支持 DDR4 内存的新的 Intel LGA 1700 主板,而今年八月技嘉宣布推出了支持 DDR4 内存的新 AMD AM4 主板。DD…
行业动态
Solidot · 10-10
阅读 65
·
访客 65
早报|苹果定档10月13日发布新品/三星手机业务或减产30%/保时捷计划削减9000个岗位
💻苹果官宣 10 月 13 日发布新品、首款触屏 MacBook Pro 月底亮相 💸曝三星手机业务四季度最高减产 30%,内存涨价压缩利润 🧠OpenAI 推出 GPT-6.1 Sol Ultrafast,速度最高提升至 8 倍 ���
智能体
爱范儿 · 10-9
阅读 62
·
访客 62
微软 Surface Laptop Ultra 售价公布:起价 21988 元,128GB 内存顶配售 48388 元
IT之家 10 月 8 日消息,微软中国商城今天(10 月 8 日)上架 Surface Laptop Ultra,**共有亮铂金和夜幕色两种颜色,起售价为 21,988 元,128GB 内存顶配售价为 48,388 元。** 官方介绍如下…
行业动态
IT之家 · 10-8
阅读 60
·
访客 60
传三星电子 12Hi HBM4E 内存已通过英伟达等主要客户质量验证测试
IT之家 10 月 7 日消息,《韩国经济日报》当地时间今日报道称,三星电子存储器业务的 12 层堆叠 HBM4E 内存已于 9 月末通过 NVIDIA(英伟达)和主要超大规模数据中心企业的质量验证测试,**各客户的供货量、合同规模、出货时…
行业动态
IT之家 · 10-7
阅读 35
·
访客 35
桌面 AI 超算新选择:英伟达 NVIDIA DGX Spark 64GB 内存版正式发布,4999 美元
IT之家 10 月 2 日消息,英伟达今天正式对外披露 DGX Spark 产品更新,推出 64GB 内存版本 DGX Spark 桌面 AI 计算机,起售价 4,999 美元(现汇率约合 33,566 元人民币),将于 10 月 23 日…
行业动态
IT之家 · 10-2
阅读 45
·
访客 45
苹果 iPad 12 爆料:A19 芯片、8GB 内存、自研 N1/C1X 芯片
IT之家 9 月 26 日消息,科技媒体 MacRumors 昨日(9 月 25 日)发布博文,报道称其撰稿人 Aaron Perris 通过挖掘苹果公司代码,**发现 iPad 12 将配备 A19 芯片、8GB 内存、N1 网络芯片和 …
行业动态
IT之家 · 9-26
阅读 42
·
访客 42
操作系统内功 · 第 19 篇|NUMA 与巨页:跨节点延迟税与 TLB miss 解药
服务器不是一台均匀的内存池:NUMA 让跨 socket 内存访问慢 40% 以上,巨页则用 2MB/1GB 页面把 TLB 压力降一个数量级。本文讲清 NUMA 拓扑、本地/远端内存与分配策略(default/bind/preferred/interleave),巨页的两种形态(hugetlbfs 与 THP)、收益与陷阱,并给出 Redis、数据库、JVM 的落地参数。
后端技术
精选
· 原创 · 11-3
阅读 66
·
访客 65
操作系统内功 · 第 52 篇|Transparent Huge Pages:自动巨页的收益、抖动与数据库禁用惯例
THP 想让普通进程自动享受巨页的 TLB 红利,却带来分配停顿与内存膨胀两类代价。本文拆解 khugepaged 与 defrag 的实现机制、延迟毛刺的成因,解释 MySQL、Redis、Oracle 集体禁用的惯例,以及 madvise 模式的折中用法。
后端技术
精选
· 原创 · 今天
阅读 3
·
访客 3
KV Cache 与高效注意力:长上下文的内存经济学
长上下文不是把窗口开大就行:KV Cache 随序列长度线性膨胀,很快压过模型权重成为显存大头。本篇拆解 KV Cache 的来历与账单、多头注意力的三代瘦身方案(MQA/GQA/MLA)、稀疏与线性注意力的路线,以及「上下文长度」宣传数字背后的真实约束。
研究前沿
精选
· 原创 · 11-3
阅读 44
·
访客 44
KV Cache 争夺战:从 MHA 到 MLA,推理显存是怎么一省再省的
大模型解码阶段真正的瓶颈不是算力而是显存带宽——每生成一个 token,整段历史的 KV Cache 都要从显存重读一遍。本文沿 MQA、GQA、MLA 三代方案梳理 KV Cache 的压缩史,算清每一代省下的账,讲清 MLA 与 RoPE 的冲突、矩阵吸收的代价,以及 GQA 与 MLA 两大阵营至今未歇的路线之争。
大模型
精选
· 用户投稿 · 10-9
阅读 1,051
·
访客 1,009
MLA 深度解析:DeepSeek 把 KV Cache 压掉 93% 的算法全貌
多头潜在注意力(MLA)是 DeepSeek-V2/V3 与 Kimi K2 的注意力底座:把 K/V 低秩压缩进一个 512 维潜在向量,推理时缓存量只有完整 MHA 的约 1.8%,官方口径质量反而强于 MHA。本文拆解它的低秩压缩、矩阵吸收与解耦 RoPE 三个核心设计,以及专用 Kernel、前缀缓存兼容等真实工程代价。
大模型
精选
· 原创 · 10-9
阅读 649
·
访客 621
多轮对话 RAG:把「那它呢」翻译成能检索的问题
用户第二轮问「那它支持导出吗」——这三个字没法直接检索。多轮对话 RAG 的核心动作是 condense:用对话历史把带指代、带省略的追问改写成独立完整的问题再去检索。本文讲清指代消解与历史压缩的做法、改写偏移的坑、以及「检索结果也要进历史」这个常被忽略的细节。
大模型
精选
· 原创 · 11-2
阅读 41
·
访客 41
操作系统内功 · 第 27 篇|sk_buff:一个包在内核网络栈里的旅行成本
sk_buff 是内核网络栈的通用货币:一个结构体串起从驱动到协议栈到 socket 的全部路径。本文拆解它的线性数据区与缓冲区头尾指针设计、clone 与 copy 的区别、各层协议头如何被依次剥掉,并算清一次收发的真实成本账(内存分配、拷贝次数、缓存行),解释 GRO/TSO 为什么靠「攒大包」来摊薄这份成本。
后端技术
精选
· 原创 · 11-3
阅读 49
·
访客 49
英伟达发布 DGX Station for Windows:本地运行 1 万亿参数 AI 模型,最高 748GB 内存
IT之家 10 月 8 日消息,太平洋时间 10 月 7 日上午 10 点(北京时间 10 月 8 日凌晨 1 点)在美国旧金山举办的发布会上,英伟达发布 DGX Station for Windows,**定位为桌面级 AI 超级计算机,…
研究前沿
IT之家 · 10-8
阅读 51
·
访客 50
GRACE:面向高效视频生成的生成感知潜空间压缩
论文提出生成感知潜空间压缩方法 GRACE,旨在解决高压缩率视频自编码器训练困难及压缩潜空间与预训练 DiT 分布不匹配的问题,从而加速视频扩散模型推理。
研究前沿
HuggingFace Daily Papers · 10-7
阅读 30
·
访客 30