长时程衰减:少喂历史,
比把历史改对还管用

2026-07-28 · NVIDIA A100 实跑 · 出发点是一篇 2025 年的前沿论文 · 全部物料公开可复现

一句话结果:让模型只看最近 4 步,每步正确率从 35.0% 提到 66.8%,长时程衰减完全消失——而且比"把历史里所有错误都改成正确答案"(现实中做不到的上限)还要好。

从哪篇论文出发,往前走了哪一步

论文《The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs》(arXiv:2509.09677)提出 self-conditioning:当上下文里出现模型自己犯过的错,它后续出错的概率会上升;每步错误率随任务推进而升高,而且把模型做大并不能消除这个效应。

我们注意到一件事:在那个设定里,"上下文里有自己的错"和"上下文变长"是绑在一起的,没有被拆开。所以本实验把它们做成一个 2×2,并且只测不需要正确答案、现在就能部署的干预。

任务(纯执行,无推理难度)

给定一张 40 项的字典 k00..k39 → 两位数,模型逐步执行 100 步:每步取出指定 key 的值,加到当前累计和上,只输出新的累计和。每步是否正确可机器判定;唯一的难度是稳定地执行很多步。100 条独立序列,同一模型(Qwen2.5-7B-Instruct),贪心解码。

结果

四个发现

1. 自我条件化是真的,论文复现了。在完整历史下,把模型自己的错误换成正确值,衰减减轻 +31.5 点(CI [+28.4, +34.6],显著)。
2. 但它是有条件的:上下文一短,自己的错就不再伤人。在只留 4 步的条件下,做同样的替换只有 −0.2 点(CI [−3.4, +3.0],不显著)。也就是说,self-conditioning 的代价是上下文管理的函数,而不是模型的固有属性。
3. 截断是压倒性的干预。不复述状态时截断带来 +63.9 点(CI [+60.1, +67.8]);截断之后不但不再衰减,反而随步数轻微上升(+3.8,CI [+0.8, +6.9],显著为正)。而且纯截断(66.8%)胜过需要上帝视角的上限条件(58.0%)——能部署的方案打赢了不能部署的参照。
4. 反直觉的一条:"更多的上下文管理"不等于更好。在已经截断的情况下再加一句显式的状态复述,反而变差 −7.2 点(CI [−10.9, −3.5],显著);而在完整历史下加复述,虽然让衰减变缓(+10.2 点),整体水平却更低(26.9% < 35.0%)。干预要挑对,叠加不一定加分。

诚实性边界(挑剔审稿人视角,我们自己先说)

• 我们的第一版判分方式是错的,原始的错误结果一并公开。最初把"这一步对不对"定义为"累计和是否等于正确答案",结果模型只要算错一次就永久偏移、之后每步都判错,基线掉到 2%。那不是自我条件化,是度量坏了。改成"这一步有没有把该加的数加对"(相对它自己上一步被展示的值)才成立。逐步预测值全部留存,重算未消耗额外算力。坏版本的统计留在 horizon_stats.json。
• 任务是"马尔可夫"的,这可能是截断如此有效的主要原因。当前累计和已经完整概括了状态,所以裁掉早期历史不丢任何必要信息。对需要长程回忆的任务(要翻回很久以前的信息),结论可能反转。这是本实验最大的外推边界。
• 每步正确率只有 27%–67%,远低于原论文关心的 95%–99% 区间。这个 7B 模型在该任务上偏弱,结论在高正确率区间是否成立,本实验答不了。
• 单模型、单任务、单一截断长度(k=4,未做扫描),也未测试"思考/CoT"这一原论文提出的缓解手段。
• 两轮实验(前四个条件、后两个条件)在不同机器上分两次跑,序列与种子相同,已核对题目一致。

全部物料(可复现)

English summary

Starting from self-conditioning (arXiv:2509.09677), we disentangled two factors that were confounded in the original setting — presence of the model's own errors in context vs context length — using a 2×2 over deployable interventions only (no oracle). On a 100-step running-sum execution task with Qwen2.5-7B-Instruct (100 sequences, greedy): self-conditioning replicates in long context (removing one's own errors: +31.5 pts of degradation, significant), but vanishes once the context is truncated (−0.2 pts, n.s.). Truncating to the last 4 steps raises mean per-step accuracy from 35.0% to 66.8% and removes degradation entirely (+3.8 pts across the run) — beating the oracle condition (58.0%) that replaces all history with ground truth. Counterintuitively, adding an explicit state restatement hurts when the context is already short (−7.2 pts, significant). Main caveat: the task is Markovian, so truncation discards nothing essential; results may not transfer to tasks requiring long-range recall. All code and per-step raw outputs are published above, including the statistics from our own initially-broken metric.