← 返回首页 / Back to home

样例与证据 / Cases & evidence

真实跑出的(脱敏)样例,逐题原始输出与代码全部公开——包括负结果与被推翻的假设,照实报。

案例 001 · 2026-07-26

量化的真实代价是任务依赖的 — FP16 vs INT4-AWQ 试点(A100 实跑,可复现)

预注册假设一个被推翻、一个反向成立:大 batch 下 AWQ 无吞吐收益;量化伤指令跟随,不伤数学推理。逐题原始输出 + 代码 + 统计全部公开。

查看全套物料 →
案例 002 · 2026-07-28

长时程衰减:少喂历史,比把历史改对还管用(A100 实跑,可复现)

从一篇 2025 年的前沿论文出发做解耦:只保留最近 4 步,每步正确率 35.0% → 66.8%,衰减完全消失,且优于"把历史全部改正确"的上限条件。含我们自己第一版度量出错的完整记录。

查看全套物料 →
案例 025 · 尚不确定 · 2026-09-17

图像压缩到多低,下游多模态问答才开始掉点:这一轮答不了,因为 102 张测试图里 85 张在模型的训练图源里

LLaVA-1.5-7B、10 个臂、1201 道题、纯 CPU 29 小时。0.25 bpp 下 POPE 上只有 JPEG 有可分辨掉点(−2.78pp),但同码率的开放式问答上四个编码器全都掉 2.2–6.3pp;0.5 bpp 在 POPE 上四者均不差于原图 3pp 以上(非劣效判据)。预注册问的"谁在码率-准确率前沿上"本轮答不了:两个码率点画不出前沿,三个非 JPEG 编码器之间分不出高下,唯一分得开的一对(神经编解码器优于 JPEG,+3.10pp)没过自己设的 Bonferroni 0.01。交付后自查发现 85/102 的测试图属 COCO train2017(该模型指令数据的图源),按此分层后掉点约翻倍,所以上面这些数字只适用于"模型可能见过的图"。

查看案例 →
案例 005 · 负结果 · 2026-08-07

空间域识别:零参数平滑有效,但未达到预注册绝对阈值

12 张公开切片、4 个实验臂、3 个种子;平滑带来 +0.141 ARI,但 0.348(在选参数用过的同一批切片上算的,偏乐观)未过预注册绝对阈值,几何免费分假设被关闭。

查看案例 →
案例 007 · 尚不确定 · 2026-08-16

公开光谱建模:没有目标变量时,先解决标签与评测定义

查新与实验计划案例:把“没有标签”拆成无目标变量、弱标签和少量独立真值三种情况;实验尚未运行。

查看案例 →
案例 008 · 正结果 · 2026-08-16

缺失模态下的稳健情感识别:对「缺失即置零」的基线,训练期整模态丢弃把鲁棒性 AUC 提高 0.034;换成均值填补的平凡基线,差距只剩 0.008

CMU-MOSI 官方划分、2 个臂、3 个种子;按预注册定义,鲁棒性 AUC 从 0.649 提到 0.683(门槛 +0.02),完整模态性能未受损,预测被证实。但复核补做的消融显示:基线测试时把缺失模态直接置零,而它训练时从没见过零值;换成缺失填训练均值的基线,实验臂只高 0.008。所以能说的是「比置零基线稳」,不是「模态丢弃本身带来 0.034 的稳健性」。

查看案例 →
案例 009 · 负结果 · 2026-07-31

2-piece affine gap 在 progressive 多序列比对里的收益边界:精度没换来,开销是实打实的

合成序列 6 个臂、3 个种子;长 indel 档上 2-piece 只比 1-piece 高 0.58pp(已按修正后的 SP 重算;原公布的 0.68pp 所用 SP 有计算错误)且种子符号不一致,未过预注册的 2pp 线,运行时间和内存却分别涨到 1.7 倍和 2.7 倍。

查看案例 →
案例 010 · 尚不确定 · 2026-07-31

平坦极值攻击在「同梯度调用预算」下还剩多少迁移性增益:前提这一步就没复现出来

CIFAR-10、6 个臂、3 个种子、纯 CPU 234 秒;相同迭代数下平坦极值攻击只领先 3.29pp,没到预注册的 5pp 前提线,因此「同算力预算下还剩多少优势」这一问本轮答不了。

查看案例 →
案例 011 · 尚不确定 · 2026-08-07

部位分层的内异症与炎性关节炎共享位点:这一问在 FinnGen 现有样本量下问不出答案

FinnGen R13、10 个表型、8 个臂、3 个种子;合并表型与类风湿锚点的方向一致性 0.463(经验 p=0.796),预测前提未成立,部位特异性在现有样本量下答不了。

查看案例 →
案例 012 · 负结果 · 2026-08-07

空模型对照:海马 × 阿尔茨海默病的「核心靶点」没通过特异性检验

CTD + STRING v12.0 + Enrichr,4 个臂、3 个种子、零模型各 1000 次抽样;两种随机对照复现「核心靶点」的频率都在 0.94–0.97,海马自己的经验 p 值 0.478 / 0.403 落在随机分布中间,特异性检验未通过。

查看案例 →
案例 013 · 负结果 · 2026-08-07

网络药理学「核心靶点」的空模型对照:在预测未参与建模的卒中基因上,赢不过随机化合物

CTD + STRING v12.0,3 个臂、3 个种子、3 档置信度、各 1000 次置换;核心靶点在留出卒中基因上的 AUROC 0.629,与随机化合物零分布 0.606 未拉开差距。

查看案例 →
案例 014 · 尚不确定 · 2026-08-11

知识图谱候选基因排序:名单换一套设定就换一批,AUROC 说明不了名单选得对不对

Hetionet v1.0、5 条臂、3 个种子、36 套设定两两比较 630 对;Top-50 名单的 Jaccard 中位数 0.111,预注册的 P1 成立。纯度数零模型 AUROC 有 0.758,但它的 Top-50 与三条推理臂最大只重合 10%,P2 被推翻,合并判定 inconclusive。这些重合率是计数读数,本轮没有做显著性检验,拿不出 p 值。

查看案例 →
案例 015 · 正结果 · 2026-08-26

AML 跨队列一致性:两个队列的耐药定义完全不同,仍有 25 个候选方向一致

TCGA-LAML 发现的 200 个候选里,25 个在 BeatAML 独立复制成功(方向一致 + FDR<0.10);1000 次标签置换的零模型里 95.5% 给出 0 个、一次都没到过 25,经验 p < 0.001。一个队列用生存分位数代理,一个用真实的诱导治疗反应。

查看案例 →
案例 017 · 尚不确定 · 2026-08-27

文献计量的两期主题变化:统计显著,但内部对照没通过,所以不能采信

1792 篇带 MeSH 标注的文献、115 个主题词;55 个词显著变化(FDR<0.05),1000 次年份打乱里 963 次一个都挑不出来,经验 p < 0.001。但标注数从 16.1 掉到 9.5、MeSH 词表又改过版;校正后人口学检索标签仍有 14 个显著,内部对照没过,本轮不给结论。

查看案例 →
案例 018 · 负结果 · 2026-08-27

登革热跨型保守肽段:避开 ADE 区几乎不用付代价,因为保守肽段本来就不在结构蛋白上

四型逐字一致的 9-mer 保守肽段 152 个,排除 ADE 区后只损失 7 个;排除同等大小的随机区域平均损失 33.8 个,经验 p = 0.994,预注册的「最保守的恰恰是最危险的」被推翻。但这批肽段 94% 在非结构蛋白上(本轮只做到序列层面,未做 MHC 结合验证),结构蛋白里只有 9 个,跨型中和抗体的问题并没有被解决。

查看案例 →
案例 019 · 正结果 · 2026-08-27

单细胞按细胞随机划分高估了多少:易任务上约 2 个 macro-F1 点、单次划分分不清,任务调难后稳定可见

GSE72056、2840 个非恶性细胞、19 位患者;随机划分 macro-F1 0.9543 对患者分组划分 0.9306,差 +0.0237,200 次标签置换零模型的 95 分位是 +0.0204,经验 p = 0.025,按预注册判据两条预测都成立。但复核换 10 次划分重跑:差值均值 +0.019、标准差 0.017,有 3 次过不了线、2 次方向反了——在这个易任务上,泄漏的平均幅度和单次划分的波动一样大。把任务逐级调难后,高估从 2.6% 涨到 9.6%,且 20 次重划分全为正。

查看案例 →
案例 020 · 尚不确定 · 2026-09-08

高原鳅洞穴种的松弛选择:方向对上了,但样本量撑不住,按跑前判据记为推翻

NCBI 六份公开基因组 → 15267 个 1:1 直系同源 → HyPhy RELAX 逐基因拟合 341 次。洞穴分支上候选基因判为松弛的比例 17.9%(15/84)对背景 11.9%(10/84),OR = 1.61(95% CI 0.68–3.70),Fisher 单侧 p = 0.193;K 中位数 0.534 对 0.665,Mann-Whitney 双侧 p = 0.133。两条预测点估计都指向预期方向,但置信区间跨过 1,按跑前写死的判据判为推翻。地表分支的阴性对照成立(未出现富集,方向还相反)。

查看案例 →
案例 021 · 尚不确定 · 2026-09-12

痛风到心血管的知识图谱扩散:全局信号是真的,但顶端那 50 个基因没有效力

256 个痛风 GWAS 基因在 STRING 上扩散,判别心血管基因 AUROC 0.5755,度数配对零模型 3000 次一次都没达到,经验 p = 0.00033;只用 2021 年底前的基因预测此后新报道的心血管基因,AUROC 仍有 0.5750(p = 0.0077;这一条已撤回——冻结网络到 2021 年的 STRING v11.5 后 p = 0.174,同一组 34 个种子在未冻结网络上仍显著,说明原信号来自特征泄漏)。但 top 50 命中率 6.0% 对零模型 4.24%,经验 p = 0.35,k 从 10 扫到 500 没有任何一档显著。标签置换、正对照、去文献通道三个对照都通过 —— 尺子没坏,是信号本身弱。

查看案例 →
案例 022 · 负结果 · 2026-09-12

真实时变图上的离线强化学习去极化:输给「挑最极端的点」这个平凡贪心,12 个种子无一例外

SNAP Reddit Hyperlink 真实时变交互图取敌意边最密的冲突核(247 节点、44623 条边)。同样 96 次节点扰动预算下,留出期末极化方差降幅中位数:离线 RL(FQI)15.87%,极端度贪心 34.99%,随机 10.72%。0/12 个种子上 RL 更好,配对 Wilcoxon 双侧精确 p = 0.00049,rank-biserial = −1.00,预注册的 H1 被推翻。正对照测得出、负对照没虚报。输在花钱时机而非选点:两者选中节点 81.8% 重合,RL 把预算连续压在前 8 个月,后半程方差反弹。

查看案例 →
案例 023 · 尚不确定 · 2026-09-13

沿海城市旅游强度与近岸水质:公开数据只凑出 10 个观测,测到的正相关住在城市之间、不在城市内部

山东 7 个沿海城市 × 2021–2023 共 21 格,五项数据齐全的只有 10 格,口径一致的只剩 3 格,预注册主分析按下限跳过。敏感性口径下旅游人次偏相关 0.896,但按预注册 P2「区间跨 0 就不做方向性宣称」,本轮记为方向不定:按城市重抽的 95% 区间横跨 −1 到 1。零模型 p ≈ 0.015 是把 10 行当独立观测算的;这 10 行只来自 6 个城市,复核补做的模拟显示同样聚集结构下虚警率约 14%,按城市整块置换则 p = 0.50。同一城市三年水质只波动 0.48 个百分点,城市之间差 10.5 个百分点。正号更像「水好所以旅游旺」加黄海/渤海的地理分组,不是旅游的净效应。检出率曲线显示 n = 10 时真实偏相关要到 0.8 才有八成把握被看见。

查看案例 →
案例 024 · 负结果 · 2026-09-14

华北重磁网格的多源特征融合:空间分块下没有增益,随机划分会凭空造出一个

105–120°E / 35–50°N、188,294 个格子,GGMplus 重力 + EMAG2v3 磁异常预测 4 类概化地质分区。1° 空间分块交叉验证下,早期融合平衡准确率 0.4546 对仅重力 0.4533,差 +0.0012,三个种子配对 p = 0.944 / 0.995 / 0.604;2.5° 分块下融合反而低 0.018。同样的模型改用像元随机划分,融合会显得比仅重力高 0.074(p = 0.001)—— 几乎全部来自空间泄漏。已知答案的合成标注证明这套评估测得出 +0.36 的真实融合增益。

查看案例 →
案例 026 · 复核更新 · 2026-10-15

新磨村滑坡回溯:观测覆盖不足,不能把未检出解释为没有前兆

独立 AI 交叉复核撤回了初版跨时间尺度的速度比较,并修复空间对齐与降雨边界处理:本轮 SAR 观测最晚至2017-06-12,未纳入6月19日数据;按文献约束圈定的候选区在本轮聚合与质控规则下没有有效形变格点指标,因此无法检验形变与降雨的耦合。只用降雨在失稳前最后7天未报警;排除26个降雨越界格后,有效3608格在60天内均曾报警,日均占比6.81%。这些是报警负担,不能当作实测虚警率。本例是单事件事后回溯,未提供区域危险性等级图,不能替代区域评价,也不能据此否定InSAR预警方向。

查看案例 →

更多样例陆续发布 / More anonymised cases coming: evidence maps, novelty checks, experiment plans, traceable evidence packs — including negative results.