电动车的标称续航写在参数表上,冬天高速开着空调,实际能跑的常常只剩六七折——没有人指责车企造假,表是准的,路是不同的。长上下文同理:标称窗口是油箱容积,有效上下文是实际续航。大海捞针满分之后,真正的问题才刚开始——窗口里的信息用得上多少,长任务里又撑得住多久。

三代考题:从找针到读懂一整本
第一代考题是检索型,代表作是大海捞针:在超长文本里埋一句与上下文无关的话,问模型能不能原样找回来。它随长窗口竞赛一同出圈,成为发布会的保留节目——截至 2026-11,主流模型在这类逐字检索上已接近满分,区分度消失。满分的含义要读准:它证明「信息还在注意力够得着的地方」,不证明「信息会被正确使用」——考的是搬运,不是理解。多针变体(埋多句、按关系取用)把难度抬了一阶,但仍在检索范畴之内。
一个值得警惕的现象:第一代考题已经饱和,却仍是发布会与营销页的常客——满分的针图视觉效果最好。买方要把这一层看穿:用饱和考题当卖点,等于用「会算加减法」证明数学能力。正确姿势是追问第二代、第三代考题的成绩,拿不到就把自家任务集做成考题现场测。
第二代考题是关联型:针与草堆之间没有字面重叠,靠语义关联才能命中——问「与职业道德相关的句子」,埋的却是一段描述收受贿赂的文字。这类考题揭开了长上下文的第一层折损:不少标称大窗口的模型,在这种无字面匹配的检索上大幅下滑,实测有效上下文远短于标称值。同代的还有多轮指代类考题:超长多轮对话里埋多个同名对象,考察模型能否分清「第 3 轮的这份合同」与「第 47 轮的这份合同」——机械检索彻底失效,考察的是长程状态追踪。关联型的价值还在于贴近真实任务:现实里没人把答案原样写在文档里,答案散落在措辞各异的段落中,靠语义串起来——关联型考题正是这个现实的抽象。
第三代考题是全局型:整书摘要要覆盖主线与伏笔,跨文档任务要发现两份文件互相矛盾并裁决优先级,长会话任务要记住几小时前的约束。考察点从「找到」变成「整合」:信息不用一次呈现,而要跨距离组合、比对、取舍。这一代还没有公认的满分标杆,各家评测口径不一——这本身就是现状的一部分:能稳定测出全局能力的考题,业界仍在摸索。可参考的方向已经出现:以整本书为单位的问答与摘要、跨文档的事实核对、长会话结束后的状态复述——它们共同的难点是判分:答案开放,评分本身常需要另一个模型,评测的可靠性问题绕了一圈又回来了。
三代考题的难度阶梯对应三种能力:搬运、关联、整合——第一代已饱和,第二代在拉开差距,第三代刚刚开考。
有效上下文的折损:窗口大一倍,能力未必大一倍
第一重折损是位置偏置。经典研究早已记录:把关键信息放在超长上下文的开头或结尾,检索准确率明显高于放在中段——注意力呈首尾强、中间弱的 U 形曲线。工程含义直接可操作:关键约束放开头,当前问题放结尾,中间留给参考资料;长提示词的排版不是美学问题,是精度问题。这条曲线的成因仍有争论——位置编码、训练数据分布、注意力的统计特性都被点名——但工程结论不依赖成因:排版可以立刻改,收益立刻有。
第二重折损是注意力稀释:注意力是分配机制,长度增加,单个关键 token 分到的份额随之摊薄,干扰信息越多,关键信号越容易被淹没。第三重是任务退化:输入越长,指令遵循越容易漂移——格式要求松掉、输出中途变形、小错误逐步累积,长文档任务的表现常常不是渐进下滑,而是中途变形。多项研究的综合结论一致:实测有效上下文普遍明显低于标称值,部分模型的实测值不足标称的一半(截至 2026-11 的公开研究口径)。
折损还有第四重:干扰物效应。长上下文里塞进无关信息、重复信息或似是而非的近似答案,精度会显著下滑——考题设计里的「干扰针」实验反复验证:多一根干扰针,命中目标针的概率就降一截。工程含义是反向的:往上下文里堆料的「多多益善」策略,在精度敏感任务上得不偿失;喂给模型的每一份材料,都应该是筛过的。
缓解手段因此成形:排版上把关键信息推向首尾;流程上分段处理、先摘要后汇总,避免一次性吞下全文;策略上检索式聚焦——先定位相关段落,再把窗口花在刀刃上。三者的共同哲学是把大窗口当资源管理,而不是当能力炫耀:窗口是油箱,路线规划才是工程。
有效上下文怎么测?通行做法是长度扫描:把同一任务按不同输入长度铺开,找到准确率跌破可接受阈值的临界长度——这个临界值比标称最大值有用得多,因为它直接对应「我能放心喂多长的任务」。扫描要用自己的任务做:任务类型不同,折损曲线就不同,通用基准的临界长度不能移植。
def effective_length_scan(model, task, lengths): # 有效上下文的长度扫描(示意)
for n in lengths: # 由短到长铺开同一任务
score = run_eval(model, task, fill_to=n)
if score < ACCEPTABLE: # 准确率跌破可接受阈值
return n # 临界长度:能放心喂多长
return lengths[-1]
| 现象 | 机制 | 缓解手段 |
|---|---|---|
| 中间遗忘 | 位置偏置,首尾强中段弱 | 关键信息置于首尾 |
| 注意力稀释 | 份额随长度摊薄 | 先检索聚焦再细读 |
| 任务退化 | 长输入下遵循漂移 | 分段处理加摘要压缩 |
折损的三重来源指向同一个结论:选型时不要看参数表的窗口数,用自家任务实测有效上下文——参数表是别人的,实测是自己的。
智能体特有的长上下文考题
智能体把长上下文从「一次性的长输入」变成「持续生长的长状态」,考题随之翻新。第一类是长会话状态:上百轮的会话里,用户第 3 轮说的偏好、第 40 轮改的约束,到第 120 轮还作数吗——状态漂移是长会话的头号故障,模型不是忘了,是把早期约束的权重悄悄降了,直到某个瞬间自相矛盾。
第二类是跨工具调用的时序一致性:同一事实在两个时刻被两次工具返回,新旧值出现在上下文的不同位置——智能体要识别哪个更新、是否应以新值为准,而不是随机采信。考题化的做法很直接:在会话不同深度埋入同一指标的新旧值,看最终报告引用哪个——引用旧值的失败,暴露的正是时间戳意识的缺失。工具返回值要不要带时间戳,因此从工程规范问题升级为能力前提问题。第三类是多文档冲突消解:两份制度文件对同一事项给出不同口径,智能体先要发现冲突(这一步常被低估——没意识到矛盾就直接采信了其中一份),再裁决优先级:版本新的赢,还是效力高的赢。这三类任务都是检索、推理与状态管理的复合题,大海捞针的满分对它们几乎零预测力。
工程对策的核心是状态外置:把用户偏好、任务约束、已完成的关键动作写成一份显式状态文档,随会话携带、随事件更新——让模型「查状态」而不是「回忆状态」。回忆是有损的,查阅是精确的。长会话的稳定性,一半靠窗口能力,一半靠把「必须记住的事」从注意力手里接管过来。
flowchart LR
G1["第一代:大海捞针,逐字检索"] -->|"接近满分"| G2["第二代:关联检索与多轮指代"]
G2 -->|"明显折损"| G3["第三代:全局整合与冲突消解"]
G3 -->|"刚起步"| A["智能体考题:长会话状态与时序一致性"]
A -->|"失败案例反哺出题"| G1
智能体考题与三代考题的关系是重叠加外延:它们继承了全局型的整合要求,又加上了智能体独有的时序与状态维度。
生态观察:窗口军备与 RAG 的边界重估
窗口军备仍在继续:标称百万乃至千万 token 级的窗口已经出现(截至 2026-11),长上下文榜单的考题也从单针换成了关联与全局类。评测方法存在真实分歧:合成考题(埋针、改写、插值)可控、可复现、可定位失败,却被质疑生态效度——考题世界与现实任务隔着一层;自然任务集(真实长文档、真实会话)更接近实战,却难以归因失败原因。两派的合理结论是混用:合成题当体检指标,自然题当路试成绩。
开发者社区的自测工具随之流行:把自家典型任务铺成不同长度、埋入已知答案、扫描折损曲线,一两个小时就能给手头模型画出有效上下文的画像。这类土办法的价值在采购谈判里尤其明显——带着自己的折损曲线去谈,比引用任何第三方案头都有说服力。
「上下文不够,RAG 来凑」这句老话需要重估。长窗口确实接管了一部分 RAG 的旧职责——文档不太大、任务偏全局时,整篇塞进窗口比检索拼接效果更稳;但 RAG 没有失业,职责反而更清晰了:语料远超窗口时的海量筛选、精度敏感任务的精准定位、知识需要实时更新时的保鲜,仍是检索的主场。成本轴也要算进去:长窗口按输入 token 计价,把十万字常驻窗口的成本与检索只取相关段落的成本放在一起,多数高频场景的账会算回检索这边。新边界大致是:全局理解交给长窗口,精准命中交给检索,两者以「先检索聚焦、再长读整合」的混合模式共存。
判断尺可以更具体:读一份文件的全貌、写一份跨章节的综述,直接长读;在十万份文档里找那三份相关的,必须检索;两者兼有的任务——先检索定范围,再长读做整合。把这句判断尺写进架构文档,多数「要不要上长上下文」的争论可以当场结束。
模型选型清单也该跟着更新:供应商若只提供大海捞针类成绩,要追问关联类与全局类的表现;评测报告里标注了考题代际的,可信度高一档。长上下文能力正在从单一数字变成一张折损曲线——读懂曲线的人,比记住数字的人先拿到工程红利。
观点部分:长上下文的营销数字与工程现实之间,隔着一代考题的距离。参数表的窗口数回答「装不装得下」,三代考题回答「用不用得上」,生产事故回答「撑不撑得住」——三者的差距就是折损。采购与选型的正确动作是带着自己的任务集去实测,把有效上下文写进验收指标,而不是把标称窗口写进采购合同。
营销数字与工程现实之间隔着的那一代考题,终究要靠自己的任务集来补齐。
小结
长上下文的营销数字与工程现实之间,隔着一代考题。三代考题对应三级能力——搬运、关联、整合:第一代饱和,第二代拉开差距,第三代刚开考;折损的三重来源——位置偏置、注意力稀释、任务退化——决定了有效上下文普遍短于标称;智能体又加上了时序与状态的新维度。工程上的行动清单很短:关键信息放首尾,长输入分段消化,精度敏感交给检索,验收用自家任务实测。窗口大一倍,能力未必大一倍——但任务设计得好,一半的窗口也能干出双倍的事。
读者留言
COMMENTS 暂无还没有留言,来说第一句?