专题｜RSI 与 Agent 自进化：站内内容地图与三条阅读路线
本站「RSI 与 Agent 自进化」专题入口页：把站内 11 篇原创深度与 14 条一手动态收进同一张地图——先给 30 秒定性（RSI 改"改进能力"、自进化改"任务表现"），再按概念／全景／证据／判定／事件／工程／治理七层分层索引，附三条按时间预算划分的阅读路线（30 分钟 / 2 小时 / 半天）、一页速查卡、收录标准与更新日志。
阅读全文 →
全部文章
ARCHIVE 共 498 条KV Cache 与高效注意力：长上下文的内存经济学
长上下文不是把窗口开大就行：KV Cache 随序列长度线性膨胀，很快压过模型权重成为显存大头。本篇拆解 KV Cache 的来历与账单、多头注意力的三代瘦身方案（MQA/GQA/MLA）、稀疏与线性注意力的路线，以及「上下文长度」宣传数字背后的真实约束。
AI 生成内容检测：水印、检测器与一场不对等的军备竞赛
AI 生成的文本、图像、音视频正在以假乱真，检测技术却在「猫鼠游戏」里节节被动。本篇拆解检测的两条技术路线（被动检测器与主动水印）、各自的可绕过性与部署现实、监管的强制水印要求，以及为什么这场军备竞赛的结构性劣势在防守方——以及什么才是现实的防御姿势。
原生多模态与 Any-to-Any：当理解与生成合流进一个模型
GPT-4o 之前的多模态是「拼装」：LLM 外挂视觉编码器、外挂图像生成器。原生多模态把理解与生成合进一个模型——语音进出、图像进出都在同一套权重里。本篇拆解三代多模态架构（外挂拼接、原生统一、any-to-any）、早融合与晚融合的技术分野、统一模型的权衡，以及「模态是什么」这个被重新打开的问题。
神经科学与 AI 的双向启发：两个学科怎么互相「借脑子」
2024 年诺贝尔物理学奖颁给神经网络先驱不是终点：神经科学与 AI 正处在史上互动最密的时期——AI 借大脑的机制（注意力、预测编码、位置细胞），神经科学借 AI 的工具（把网络当模型大脑做实验）。本篇梳理双向启发的真实案例、已证伪的天真类比、以及「大脑作为架构参考」的开放清单。
从 SFT 到宪法 AI：对齐的技术路径图
大模型的「听话」不是天生的，是训练出来的：监督微调（SFT）教它格式，人类反馈强化学习（RLHF）教它偏好，宪法 AI（CAI）试着教它原则。本文讲清这条对齐技术路径的演进逻辑、每一代方法解决了什么又留下了什么，以及为什么 Anthropic 会说「AI 用 AI 的反馈来对齐 AI」。
幻觉的机制研究：大模型为什么会「一本正经地胡说」
幻觉不是 bug，是当前训练目标的内生属性：下一词预测的得分机制、知识以参数形式的有损存储、以及「承认不知道」缺乏激励，共同制造了自信的错误。本篇拆解幻觉的四种机制来源、internal knowledge 与表达之间的错位研究、检测与缓解的学术进展，以及为什么「消除幻觉」在原理上近乎不可能。
知识蒸馏与模型压缩：大模型的能力怎么「装进」小模型
同样的任务，70B 模型能做到的，1B 模型经过蒸馏也常常能做到七八成——能力从大模型流向小模型的通道是当代 AI 工程的核心课题。本篇拆解蒸馏的三代方法（logit 蒸馏、CoT 蒸馏、on-policy 蒸馏）、量化与剪枝的压缩三件套，以及「小模型为何如此便宜」背后的技术账。
模型窃取与蒸馏攻击：API 时代的知识产权安全
一个闭源模型最值钱的资产是权重，而权重可以通过 API 被系统性「抽取」：用大量查询与输出对训练出一个行为高度相似的「影子模型」。蒸馏攻击、成员推断、系统提示窃取——模型窃取已经从学术攻击变成了真实的商业争议。本文讲清模型窃取的技术谱系、真实的攻防案例与防御的现实边界。
图像生成路线之争：扩散的统治与自回归的反攻
扩散模型统治图像生成数年后，自回归阵营（GPT-4o 原生图像、Gemini 的原生多模态生成）带着「理解与生成同源」的旗帜反攻。本篇拆解两条路线的机制差异、DiT 的统治基础、自回归反攻的杀手锏（文本渲染与指令遵循）、以及混合架构与「统一模型」趋势下的路线合流。
AI Scientist 与自动化研究循环：模型能自己做科研吗
从「AI 辅助科研」到「AI 自主科研」：Sakana 的 AI Scientist 尝试让模型独立完成从想法、实验、写作到评审的完整闭环。本篇拆解自动化研究智能体的架构（想法生成—代码实验—论文写作—自动评审）、闭环里每个环节的真实成色、AI co-scientist 等后续进展，以及「机器发现」离真正的科学贡献还有多远。
MoE 混合专家：稀疏激活怎么把模型越做越大还越跑越快
当代旗舰大模型的「万亿参数」几乎都由 MoE（混合专家）撑起：参数规模狂飙，单次推理只激活一小部分。本篇拆解 MoE 的路由机制、负载均衡的核心难题、专家分工的实证发现，以及 Switch Transformer 到 DeepSeek-V3 的细粒度演进——理解为什么「稀疏」是规模竞赛的必选项。
数据投毒：训练语料里的供应链攻击
模型的价值观与能力来自训练语料——如果有人能往语料里「放东西」，就能往模型里「放行为」。数据投毒研究证明：在网络级语料中混入极小比例的恶意样本，就可能植入持久后门。本文讲清投毒的攻击模型、语料时代的现实暴露面、以及「验证成本不可压缩」这条防御的底线逻辑。
第 1 / 42 页 · 共 498 条
下一页 →