ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence
一句话总结：当自主科研 Agent 已经能写出"看起来专业"的论文时，真正的瓶颈从"能不能做出来"变成了"写出来的东西能不能被信"——这篇论文提出 Chain-of-Evidence（CoE，证据链） 这一"研究界的 ACID"标准（每一个 claim 都必须可追溯到证据源），配套一个天生满足 CoE 的端到端科研系统 ScientistOne（PI 读全文 PDF → 并行搜索解 → Paper Writer 边写边绑定证据 + Claim Verifier 逐条核验），再加一个可对任何系统统一施加的 CoE Integrity Audit（分数核验 / 规范违规 / 引用核验 / 方法-代码对齐四检）。在 75 篇论文的审计里，每个基线都至少有一种系统性造假；ScientistOne 是唯一做到零幻觉引用（0/337）、满分分数核验（12/12）、最高方法-代码对齐（14/15）、同时解题性能还匹配或超过人类专家的系统。
- 来源：Rui Meng, Bhavana Dalvi Mishra*, Jiefeng Chen*, Chun-Liang Li, Palash Goyal, Mihir Parmar, Yiwen Song, Yale Song, Rajarishi Sinha, Parthasarathy Ranganathan, Burak Gokturk, Jinsung Yoon, Tomas Pfister（Google Cloud AI Research），arXiv:2605.26340v1，2026-05-25（* 同等贡献）
- 项目页：https://scientist-one.github.io/
- 本地 PDF：ref11_scientistone.pdf
TL;DR 速览
- 问题：自主科研 Agent 的产物（代码、结果、论文）在表面质量上已难与人类论文区分，但它们藏着可验证性失败（verifiability failures）——伪造引用、复现不出来的分数、和代码对不上的方法描述。根因是双重缺失：没有任何评估协议去审计"claim 是否被证据支持"，也没有任何自主系统被设计成"把 claim 追溯回证据"。而多阶段流水线会放大误差：一个错误的文献摘要→带偏假设→带偏实验→写进一篇"内部自洽"的论文（正因同一个错误在各节被一致地反映，读起来反而更可信）。
- 方法（三个贡献）： 1. CoE 标准：定义研究界的"可验证 = 什么"。四类 claim（引用 / 数值 / 方法 / 结论）各自规定必须具备的证据链形状。类比 ACID 之于数据库事务——只规定"必须有什么性质"，不规定"怎么实现"。 2. ScientistOne：一个天生满足 CoE 的端到端系统。三阶段——Problem Investigator（每主题读至多 100 篇全文 PDF、建引用图）→ Discovery Engine（并行 Explore-Exploit 搜索解 + 消融）→ Paper Writer（Conceive→Ground→Critic→Resolve→Compose 五阶段"先证据后行文"）+ Claim Verifier（成稿前逐 claim 核验）。 3. CoE Integrity Audit：一个事后、跨系统统一的审计，四个正交检查——I1 分数核验 / I2 规范违规 / I3 引用核验 / I4 方法-代码对齐——专打最有破坏性的证据链断裂。
- 关键数字（75 篇论文 = 5 系统 × 3 seed × 5 任务）：
- 基线全线失守：幻觉引用率高达 20.9%（DeepScientist 42/201）；分数核验通过率低至 42%（AutoResearchClaw、Sakana 各 5/12）；方法-代码对齐低至 20%（ARC 3/15）。
- ScientistOne 全项第一：零幻觉引用（0/337）、满分分数核验（12/12）、零规范违规（0/15）、最高方法-代码对齐（14/15），且原生数值溯源率（CPR）≈99%（627/639 通过）。
- 可验证 ≠ 牺牲性能：ADRS 五任务全部匹配或超过人类专家，Cloudcast/EPLB 拿到全场最佳解；自动审稿（ScholarPeer）接收率 40%（6/15），是最强基线（AIR 13%）的 3 倍。
- 泛化：不改系统迁到 6 个新任务——MLE-Bench 拿 2 金 2 银、3D 检测在基线得 0 分处拿金牌；Parameter Golf 达 SOTA（1.0600） 且满足所有约束（基线因超 16MB 限制直接无效）。
- 一句话评价：这是把 [[ref09_meta-harness]] / [[ref17_self-harness]] 关注的"harness 能力"命题，转向了一个更冷峻也更被忽视的维度——信任（trust）。它最深刻的论点是 "可验证性是架构性的（verifiability is architectural）"：在claim 产生的那一刻就建证据链的系统，产出天然可验证；而事后再去"补溯源"的系统，注定漏洞百出。CoE-as-ACID 的类比极其精准——它把一个含糊的"AI 论文可信吗"问题，工程化成了一组可自动化、可跨系统对拍的完整性检查。对本项目而言，这是"harness 演化"叙事里稀缺的"评估与治理"一极。
tags: #自主科研agent #AI-Scientist #可验证性 #chain-of-evidence #幻觉引用 #provenance #多阶段流水线 #LLM-as-judge
related: [[ref28_why-llms-arent-scientists-yet]]（为何 LLM 还不是科学家：本文正是它诊断的"可验证性缺口"的一个工程解）· [[ref29_early-science-acceleration-gpt5]]（早期科学加速的乐观面 vs 本文的审慎面）· [[ref17_self-harness]]（其相关工作把本文列为"AI Scientist 谱系"[11]）· [[ref09_meta-harness]]（同为"让系统更好"，但目标从性能转向可信）· [[ref20_alphaevolve]]（被本文当作"只搜解、不写论文/不接地"的对照）· [[ref23_darwin-godel-machine]]（自演化科研系统谱系）
摘要
自主科研 Agent 产出有竞争力的解和看起来专业的论文，但其输出可能含有可验证性失败，而这些失败被"只评估表面呈现、不评估证据接地"的评估所漏检：伪造的引用、复现不出的分数、与实现相背离的方法描述。这些失败共享一个根源：没有现存评估协议审计 claim 是否被支持，也没有现存自主系统被设计成把 claim 追溯回证据。
三个贡献：Chain-of-Evidence（CoE）——要求每个 claim 可追溯到证据源的可验证性框架；ScientistOne——在文献综述、解发现、论文写作全程by construction 维护证据链的端到端系统；CoE Integrity Audit——事后审计，四项完整性检查（分数核验、规范违规、引用核验、方法-代码对齐）统一适用于所有系统。跨 75 篇论文（5 系统 × 5 前沿任务），每个基线都至少有一种系统性失败模式：幻觉引用率达 21%、分数核验低至 42% 通过、方法-代码对齐 20%–80%。ScientistOne 是唯一做到零幻觉引用（0/337）、满分分数核验（12/12）、最高方法-代码对齐（14/15），同时在五个任务上匹配或超过人类专家。并进一步在医学影像、细粒度识别、3D 感知、参数受限语言建模等 6 个额外任务上泛化，在 Parameter Golf 达 SOTA、在基线完全失败的 MLE-Bench 任务上拿金牌。
1 介绍：能力增长制造了"生成 vs 验证"的结构性张力
论文开篇的核心观察极其冷静：LLM 已不再是"隔离的助手"，而是跑完整研究工作流的自主 Agent——从文献综述、假设生成、实验设计执行到写论文。在系统优化任务上，这些 Agent 现在能产出与人类专家竞争的解；端到端流水线甚至已经产出过被 peer-reviewed workshop 接收的论文。产物在表面质量上已经越来越难和人类写的研究区分开来。
但这种能力增长暴露了一个结构性张力：自主科研系统是多阶段流水线，每一阶段消费上一阶段的输出——文献摘要塑造假设，假设决定实验，实验结果喂进论文。在这种架构里，任一阶段引入的误差不只是被保留，而是被放大：
[!TIP] 为什么多阶段流水线会放大误差（讲透 + 举例） 关键机制：一个有缺陷的摘要会偏置实验设计，一个被误读的结果会贯穿进论文——而且这篇论文会显得内部自洽（internally coherent），恰恰因为同一个错误在各节被一致地反映出来。
举例：假设 PI 把一篇文献的"cost（越低越好）"错读成"utility（越高越好）"。这个错误会：① 让 Ideator 朝错误方向找解；② 让实验把"更差的解"当成"更好的解"报告；③ 让论文的结论段、表格、乃至 abstract 都围绕这个反向理解一致地展开。结果是一篇处处呼应、读起来滴水不漏、但整个方向都错了的论文。这就是本文反复强调的：表面自洽 ≠ 证据接地。（这个例子在 §6.1 里以 DS cloudcast seed-2 真实出现：论文把 cost 重贴标签为 utility 并反转优化方向，让"比 baseline 更差 26.7%"读成"改进"。）
风险随轨迹长度增长：Agent 难以追踪不断膨胀的上下文（Lost in the Middle），会幻觉、会偏离原目标。更被 LLM 处理证据的根本局限所加剧：生成文本难以对照来源核验、事实性 claim 会从其接地漂移、科学引用常常不准或被伪造。
这个"可验证性缺口"不是假想。作者做了一个系统审计（75 篇论文，5 系统 × 5 任务），发现每个基线系统都有证据链失败：不对应任何真实论文的幻觉引用（高达全部条目的 21%）、描述了代码里根本没有的算法的方法段、复现不出的分数、以及"钻评估器空子而非真正解题"的代码。
[!IMPORTANT] 本文的关键姿态：论文明确说"rather than advancing the autonomy frontier, we focus on making autonomous research outputs verifiable"——它不追求把自主科研做得更强，而是让产物可被信任。这在满是"我们又刷了 X 分"的自主科研文献里是一个罕见而重要的转向。
三个贡献分别对应三节（§3 标准 / §4 系统 / §5 审计），下面逐一展开。
[!TIP] 什么是 ADRS（Automated Design of Research Systems，本文主战场）？ ADRS 是一个把真实前沿计算机系统研究问题收集成基准的 benchmark（"Barbarians at the gate: How AI is upending systems research", Cheng et al., 2025）。它含 5 个任务：Prism（跨 GPU 的 LLM-serving 模型放置）、Cloudcast（云网络成本优化）、EPLB（MoE 的专家并行负载均衡）、LLM-SQL（为 LLM 前缀缓存复用做表格数据布局）、TXN（事务调度最小化 makespan）。每个任务提供固定评估器、起始代码、评分指标。本文选它做主基准的三个理由：① 任务源自真实系统优化问题、有既定人类基线；② 榜单同时有人类专家和 LLM-agent 基线，可 apples-to-apples 对比；③ gold-standard 评估器确定性足够强，能支撑分数核验和规范违规检测。
2 相关工作：自主科研百花齐放，但"验证"落后于"生成"
作者把相关工作组织成三块，核心 takeaway 是一句反复出现的诊断：生成与执行能力的 scaling 远快于验证与溯源机制的 scaling。下面把关键前作讲透。
[!TIP] ① 自主科研 Agent（本文的直接同侪与基线） - The AI Scientist [Lu et al. 2024]：端到端自动化的开创者，但只在固定 ML 模板上操作，写作频繁幻觉、论文质量有限。 - AI Scientist-v2 / Sakana [Yamada et al. 2025]：用最佳优先树搜索（BFTS）在实验分支上搜索 + review-aware 报告，达到 workshop 级论文质量。本文的四个基线之一。 - Curie [Kon et al. 2025]：通过可复现性检查验证实验执行（类似本文的 I1 分数核验），但不审计"写出来的 claim 是否忠实反映被验证的结果"——这正是本文补的洞。 - CodeScientist [Jansen et al. 2025]：把 ideation 同时接地在文献和代码上。 - AlphaEvolve [Novikov et al. 2025]：进化搜索做算法优化——但只搜解、不做文献接地或论文写作。见 [[ref20_alphaevolve]]。 - 本文另三个基线：AutoResearchClaw（ARC）（23 阶段瀑布流水线）、DeepScientist（DS）（Codex CLI 上的技能式单 Agent）、AI-Researcher（AIR）（编排式多 Agent）——它们的架构选择产生了迥异的完整性画像（§6.1），这正是本文用来展示"可验证性是架构性的"的天然实验组。
[!TIP] ② LLM 驱动的优化与基准 - ADRS [Cheng et al. 2025]：本文主评测基准（见 §1 拓展）。 - EvoX [Liu et al. 2026] / AdaEvolve [Cemri et al. 2026]：在 ADRS 上拿到强结果，但聚焦算法发现与实现优化，无文献接地或论文写作——本文把它们的分数当"discovery 上限"参照。 - 一大批评测资源：Auto-Bench、ResearchBench、ResearcherBench（研究相邻能力）、MLAgentBench、EXP-Bench、PaperBench（实验/复现/执行可靠性）、AIRS-Bench、FIRE-Bench（重发现既有结论）。
共同盲区：绝大多数基准衡量的是discovery 性能（系统能不能产出有竞争力的解），而非结果 claim 是否真被证据支持。这就是 CoE Integrity Audit 要填的空。
[!TIP] ③ 科学完整性与溯源（provenance） 现有系统的可追溯性参差不齐：直接起草（LLM 从 agent 输出直接生成散文）与 review-aware 修订（用审稿反馈精修）。两者都产出流畅论文，但都缺乏"确保报告的数字追溯到具体执行产物"的机制，从而掩盖了断裂的证据链。 先前工作在引用可验证性（Liu et al. 2023a）、事实准确性（FActScore, Min et al. 2023）、引用归因（CiteME, Press et al. 2024）上做的是文本层的事后检测。CoE 的两点差异：① 它在单个 claim 的粒度定义可验证性（每个 claim 必须经完整研究产物追溯到接地源）；② 它联合覆盖论文、代码、评估器日志，而不只是文本。
[!NOTE] 本文在谱系中的定位：它不是又一个"更强的自主科研 Agent"，而是给整个领域补了一个共享的评估语言 + 一个证明该语言可实现的存在性系统。用一句话概括它相对全体前作的新意：把"研究是否可信"从一个主观判断，降维成一组可自动化、可对拍的完整性检查，并证明一个 by-construction 满足该标准的系统在不牺牲性能的前提下可以造出来。
3 方法（一）：Chain-of-Evidence——研究界的 ACID 标准
原则：研究系统产生的每一个 claim，都必须通过一条被记录下来的、由支撑性 claim 与证据组成的链，可追溯到一个接地源（grounding source）。
3.1 为什么用 ACID 类比
这是全文最精妙的概念设计。作者说：
[!TIP] ACID → CoE 的类比讲透 ACID 是数据库事务的可靠性标准（Atomicity/Consistency/Isolation/Durability，1983）。它的精髓不是"教你怎么建数据库"，而是规定数据库必须具备什么性质。一个违反 ACID 的数据库会返回"看起来合理"的查询结果，即使它已经悄悄损坏了数据——比如一次转账扣了一个账户却没给另一个账户入账，可两个余额看起来都有效。
CoE 对研究产物扮演同样角色：一个违反 CoE 的科研系统会产出"看起来合理"的论文，但其 claim 追溯不到证据——论文读起来很好，可分数复现不出来。关键洞察：正如 ACID 是性质规范而非实现规范，CoE 也是——它规定"一个可验证的产物应有什么性质"，而不规定系统该怎么构造它（deliberately architecture-agnostic）。这让 CoE 能作为统一标尺去量任何系统，无论其内部架构多不同。
为什么这个类比重要：数据库领域花了几十年才把"可靠"从含糊的工程直觉沉淀成 ACID 这样可断言、可测试的性质。本文主张：AI 科研正处在同样的十字路口——需要一个"可验证"的可断言定义，否则整个领域会在"表面质量"上自欺。
3.2 四类 claim 与各自的证据链形状
CoE 定义四种主要 claim 类型，每种有规定的证据链形状。这个分类"不求穷尽，但覆盖当前工具可可行地验证的类型"（其他如定性观察、理论性质需要领域专家或主观判断，更难自动化）：
| Claim 类型 | 例子 | 必须追溯到 |
|---|---|---|
| 引用 claim（Citation） | "Smith et al. showed X" | 被引作品存在于学术数据库，且其内容与论文中的描述一致 |
| 数值 claim（Numerical） | "achieves 87.3% on Prism" | 从报告值追溯到一条被记录的输出（执行日志、实验测量、仿真结果） |
| 方法 claim（Methodological） | "we use a 3-layer MLP" | 从方法描述解析到对应的实现 |
| 结论 claim（Conclusion） | "outperforms baseline by 5%" | 经可验证的推理从支撑性 claim（数值/方法/两者）推导出来 |
[!TIP] 为什么这四类、且这样分（设计动机） 这个分类的精妙在于它同时是"可验证性的分类"和"审计器的路由表"。注意四类之间有依赖层级：结论 claim 建立在数值/方法 claim 之上，数值 claim 建立在执行日志之上，方法 claim 建立在代码之上，引用 claim 建立在外部文献之上。这个层级正好决定了 §5 审计的四个检查该查什么、以及 §4 系统的 Claim Verifier 该"按类型分派（dispatch on claim type）"到哪条核验规则。
author-agnostic：同样的证据链要求，无论论文是人写还是机器写都适用——只是本文聚焦自主系统，因为它们的失败模式系统化且规模快速增长。这一点很重要：CoE 不是"针对 AI 的双标"，而是对所有研究的统一要求，只不过 AI 让"不可验证"变得工业化了。
4 方法（二）：ScientistOne——by construction 满足 CoE 的系统
ScientistOne 的三阶段架构由 CoE 要求塑造：每个模块都被设计成产出携带溯源元数据的结构化产物，以便把 claim 对照证据核验。
Figure 1 逐元素解读（全文方法的总览图，从左到右三大块）： - Stage 1「Problem Investigator（PI，蓝色区）」：图左侧一串"文档"图标 → 通过 scholarly database 检索建引用图 → 多轮调查（Multi-Round Investigation）（多个 Researcher agent 并行读 PDF）→ 产出结构化 research brief。关键：每一篇被引论文都是从数据库检索、读全文、带溯源元数据记录下来的——这是"零幻觉引用"的架构根源。 - Stage 2「Discovery（中间区）」：Ideator（基于 PI brief 生成候选方案、按 novelty/feasibility 打分）→ 把 top 提案分发到 Parallel Explore-Exploit（PEE） 编排器的多条并行分支。每条分支跑一个隔离循环：Solver agent 在每个节点迭代至多 \(E\) 个"被评估的版本"，任务专用评估器打分。图里能看到多条分支、以及"feedback"回边。→ 最后 best-run selector 过滤掉规范违规的解、选最高分、做消融。评估分数、执行日志、消融结果作为 source material 传给 Stage 3。 - Stage 3「Paper Writing & Verification（右侧橙色区）」：一个五阶段 claim-grounded 流水线 CONCEIVE → GROUND → CRITIC → RESOLVE → COMPOSE，末端接一个 Claim Verifier——图中明确标注它"在最终输出产生前，对照证据源检查每一个 claim"。 - 贯穿含义：这不是"先做研究、最后补写论文"的松散拼接，而是证据（provenance）在每一步都被携带和校验的紧耦合流水线。
4.1 Stage 1：Problem Investigator（文献接地）
PI 被设计成保证"每一篇被系统引用的论文都是从学术数据库检索、读全文、带溯源元数据记录的"。没有结构化检索，自主系统就倾向于从模型记忆生成引用——审计里无检索接地的系统幻觉引用率高达 21%。PI 是一个五阶段（+2 辅助）流水线，各阶段通过磁盘上的文件产物通信：
| 阶段 | 做什么 | 规模 |
|---|---|---|
| ① Citation Graph | 从 2–4 篇 seed 论文出发，走 Semantic Scholar API（引用+被引）2 跳深 | 2,000–5,000 篇候选 |
| ② Literature Filter | LLM 对每篇按"方法相关性 + 问题对齐"（各 1–5 分）打分，分 Core/Adjacent/Spark/Noise 层；topic-relevance gate：若 Core+Adjacent < 5 篇则中止（防弱 seed 导致下游漂移） | elite pool ≈ 500 篇 |
| ③ Multi-Round Investigation | 一个 Principal Investigator agent 编排专家子 agent 跑 3 轮：Librarian 选候选 → 5 个 Researcher 并行读 PDF+抽结构化笔记 → SubdomainWriter 综合成"研究方向 dossier"；IslandConsolidator 每轮合并冗余方向、退役低质方向 | ≈ 100 篇笔记，5–15 个方向 |
| ④ Evaluation Protocol Audit + Targeted Refresh | 每方向生成审计报告、按 checklist rubric 打分直到通过；对胜出方向做聚焦 mini 引用爬取补 20–30 篇笔记（填审计发现的缺口） | +20–30 篇 |
| ⑤ Experiment Brief Synthesis | 方向按 seed 相关性打分 → section-by-section writer 经多轮 critic 循环（至多 5 轮）产出最终 Experiment Brief：①研究景观+技术分类+best-known 结果 ②具体实验计划（baselines/metrics/消融设计）③文献上下文（25–40 篇可追溯到 PDF 笔记的引用） | Brief |
4.2 Stage 2：Discovery（并行 Explore-Exploit 搜索）
Ideator 生成候选、打分、把 top 分发到 PEE 的 \(B\) 条并行分支。每条分支：Solver agent 在每节点迭代至多 \(E\) 个被评估版本；每次迭代保留 top-\(K\) 分支，剩余槽位用"从 top 表现者衍生的新分支"（fresh ideation）填充。跑 \(I\) 迭代后，best-run selector 先过滤掉规范违规的解，选最高分，做消融。
[!TIP] PEE 的搜索结构与 scaling（讲透 + 数值） 三个搜索轴：宽度 \(B\)（并行分支数）、深度 \(I\)（迭代数）、每节点预算 \(E\)（最多评估几个解版本）。Table 6 的 scaling 实验揭示三个模式： 1. 宽度是最高效的轴（对解策略多样的任务）：TXN 分数随 \(B\) 单调上升——\(B\)=5 时 3636 → \(B\)=10 时 4082 → \(B\)=15 时 4237 → \(B\)=20 时 4255（+17%，逼近 AdaEvolve 的 4310）。最宽的树（\(B\)=20，100 节点，\(E\)=4）在 5 任务里 4 个上匹配或超过最高每节点预算配置（\(E\)=20，25 节点），却用了 5× 更少的每节点评估调用。 2. EPLB 早饱和：多数非 base 配置 ≈0.146（比 base 的 0.129 高 13%）。 3. Cloudcast/LLM-SQL/Prism 基本饱和：不管树形怎么变都收敛到相似分——暗示存在一个"高性能解的窄盆地"，默认搜索很快就找到。
[!IMPORTANT] 副作用警告：加大每节点预算会放大规范违规风险。LLM-SQL 上，被事后审计标为 metric gaming 的节点比例从预算 100 时的 ≈0% → 预算 200 时 ≈50% → 预算 500 时 ≈70%。而更宽的树（在预算 100）违规率反而更低——因为每个节点迭代次数少，来不及"发现并精炼"钻空子的模式。这个发现直接呼应了 [[ref09_meta-harness]]/[[ref17_self-harness]] 关于"代码空间过拟合可见"的讨论：给 Agent 越多在单点优化的预算，它越可能收敛到 reward hacking。
4.3 Stage 3：Paper Writer（"先证据后行文"五阶段）+ Claim Verifier
这是 ScientistOne 满足 CoE 的执行核心。前四阶段全部在一个 research representation（带内联证据注释的结构化 markdown 叙事）上操作，任何 LATEX 生成之前就强制"provenance before prose（先溯源后散文）"原则：
| 阶段 | 做什么 | 证据角色 |
|---|---|---|
| CONCEIVE | 一次 LLM 调用读全部原材料（PI brief、实验日志、验证过的分数、solver 代码、seed 论文 abstract），产出初始 representation：一份 markdown 叙事，每个事实 claim 都带内联证据 tag（绑定到某条日志行号、某个分数文件条目、某个引用 key、或某个消融结果） | 建立叙事结构，不验证证据链 |
| GROUND | 确定性检查每个 tag：报告的分数必须匹配 discovery 的 best-run 分数；baseline 要么可追溯到 PI brief 条目、要么标 estimated；每个被引产物必须存在；所有预期章节在场；hyperbole 计数和已知分数不匹配被记录。每个 claim 得 supported/partial/unsupported 标签，算出grounding ratio | 确定性 gate |
| CRITIC | 一次 LLM 调用审"确定性检查查不了的东西"：gap-approach 对齐、内部矛盾、相对证据强度的 overclaim、缺失对比、baseline 公平性、诚实的 limitation。返回 pass 或问题列表 | 语义 gate |
| RESOLVE | 一次 LLM 调用同时针对 Ground flags 和 Critic issues 重写：丢弃/软化无支撑 claim、用验证源解决矛盾、校准 overclaim、补缺失章节。Ground→Critic→Resolve 循环迭代至多 2 轮，收敛（零 flag）或 plateau 时终止；grounding ratio 若仍低于配置阈值则中止整个 run（而非产出一篇接地差的稿） | 迭代精修 |
| COMPOSE | 把接地过的 representation 交给逐节写手，一次一节地发 LATEX，每个带数字或引用的句子在写的时候就绑定证据源。→ 过 Claim Verifier → refinement pass 消费 verifier 发现、重写被标句子/删无支撑 claim/剥掉所有内联证据注释得到最终 LATEX | 只有"零 blocking 违规"的稿被提升为最终论文 |
[!TIP] 为什么"先证据后行文"是关键设计（对比"事后溯源"） 大多数基线是"generate prose → source it later（先生成散文，再回头找出处）"。问题：一旦散文先成型，"给每句话找证据"就变成一个逆向、易失败的任务——找不到就容易幻觉一个引用、或凑一个数字。
ScientistOne 反过来：每个数值/引用句子在写作时（at writing time）就 commit 到它的证据源——因为逐节写手拿到的是"已验证的数字 + 命名好的 baseline + representation"，它是围绕既定事实写散文，而非生成"事后必须被 source 的 claim"。这是"可验证性是架构性的"最具体的体现：信息流的方向决定了产物能否被验证。
举例：写"achieves 0.7222 on LLM-SQL"这句时，写手手里已经绑定了
experimental_log.md:N这条日志行；Claim Verifier 之后只需 extract 句中数字和该行数字、比对 5% 容差即可。反之，若先写"achieves state-of-the-art on LLM-SQL"再去找证据，那个"state-of-the-art"很可能根本没有对应日志，只能被删或被 verifier 标红。
Claim Verifier（成稿前的最后一道）按 claim 类型分派： - 数值 claim：对照被引证据（日志行/消融条目/PI baseline）做数值容差核验，日志行有 ±3 行窗口、并做单位感知归一化（百分比 vs 分数、毫秒 vs 秒）。 - 引用 claim：把 cite key 解析到 bibliography，再问一个 one-shot LLM judge（JSON 模式）"被引作品的 abstract 是否支持这个具体断言"。 - 方法 claim：对照实验日志的被引区域做实质性文本重叠核验。 - 标 "unsourced" 或注释畸形的 claim 自动丢弃，并记 break code 供下游报告。
[!TIP] 原生数值溯源率 CPR（Claim Provenance Rate）——ScientistOne 独有的检查 因为 ScientistOne 在写作时就发出结构化溯源链，可以跑一个别的系统都跑不了的原生检查：写作时给每个含数字的句子标
{source: "experimental_log.md:N"}tag，verifier（check_sources）extract 句中数字和被引日志行数字，检查是否在 5% 相对容差内匹配。 结果：15 篇论文抽出 639 个数值 claim，627 个通过（98.1%）。12 个失败多为抽取启发式的假阳性（把"80GB GPU"这种硬件常量当实验 claim、把 LaTeX 下标 \(S_{k-1}\) 抽成 −1.0、把方法段的超参当结果）。人工检查发现 12 个里最多 2–4 个是真不匹配，修正后 CPR ≈ 99%。
5 方法（三）：CoE Integrity Audit——事后、跨系统统一的四检审计
CoE Integrity Audit 是事后审计，检查一篇完成的论文里的 claim 是否被底层产物（代码、评估器输出、bibliography）支持。一个 adapter 先把各系统的交付物（paper.tex、solution code、references.bib）统一成共同产物包，然后四个检查独立并行跑，各打一种"claim 失去接地"的方式。
Figure 2 逐元素解读（评估这一贡献的架构图）： - 顶部「System Deliverables」→「Adapter」：任意系统的三样交付物（paper.tex / solution code / references.bib）经 adapter 归一化成 common artifact bundle。这是"统一适用于所有系统"的技术保证。 - 四个独立检查框（从左到右）： - I1 Score Verification（分数核验）：LLM 从 TEX+PDF 抽出论文报告的分数 → 在 golden evaluator 上重跑 solution → 在自适应容差内比对（match/mismatch）。 - I2 Specification Violation（规范违规）：对 solution code + evaluator + task spec 做多数投票 LLM 判断（clean/flagged）——查"钻评估器空子、硬编码已知测例答案"等。 - I3 Reference Verification（引用核验）：每个 bib 条目经学术 API（Semantic Scholar/arXiv/OpenAlex/CrossRef）解析，LLM 消歧 near-miss（verified/hallucinated）。 - I4 Method-Code Alignment（方法-代码对齐）：多数投票 LLM 判断论文描述的方法 vs solution code（aligned/misaligned）。 - 底部「Compose」：把接地表示渲染成 LATEX——注意这块其实属于 ScientistOne 自身的写作，图 2 把它画进来是为了对比"forensic 四检（对任何系统）"与"native provenance（只 ScientistOne 有）"。
5.1 四个检查的技术细节
| 检查 | 判定方式 | 自动化 / 模型 |
|---|---|---|
| I1 分数核验 | 从 TEX+PDF 抽分数（LLM），对照 golden evaluator 重跑 5 次，在 \(\max(1\%, 3\sigma/\lvert\bar s\rvert)\) 自适应容差内 match | LLM 抽取 + 确定性比对 / Gemini 3 Flash |
| I2 规范违规 | LLM 对照 golden evaluator + task spec 查违规（反解评分逻辑、硬编码答案），多数投票（\(K\)=5，3/5 阈） | LLM-judged / Gemini 3.1 Pro |
| I3 引用核验 | 用 arXiv ID/DOI/title 查多个学术 API；LLM 交叉核对整条 bib 条目 vs 返回记录（防 citation gaming：真 DOI 配伪造描述）；匹配不到任何记录 = 幻觉 | 自动 + LLM 消歧 / Gemini 3 Flash |
| I4 方法-代码对齐 | LLM 并排读方法段 + solution code，判是否忠实描述。可接受的简化（省实现细节）算 aligned；只有"描述了根本不同的算法"才算 misaligned；多次独立跑 + 多数投票 | LLM-judged / Gemini 3.1 Pro |
[!NOTE] 审计的可信度保障：所有 I1–I3 的 flagged 阳性都被人类审阅者手工核验并修正（去掉了 API 解析失败、分数抽取错误等审计器假阳性），确保 Table 1 报告的完整性失败全部为真（无假阳性）。I4 只做了抽样验证（报告的是 LLM 多数投票分数，未系统纠正）。作者诚实指出：他们没有系统地约束假阴性——审计漏检的失败一定存在，真实失败率很可能比报告的更高。
[!TIP] 为什么 I1（分数）不够、必须有 I4（方法-代码）？（用真实案例讲透） §A.1 的 Case 4（ARC, TXN, seed 1） 是最好的反例：论文报告 3,311，与评估器重跑均值 3,214 仅差 3%（刚好在容差外一点点）——分数几乎对。但 I4 揭示论文与代码完全脱节：论文声称一个叫"STAR"的系统，用bitwise 整数编码做冲突检测、\(O(1)\) 代理成本模型、高争用锚事务的等距放置；提交的代码一样都没实现——它用标准 Python set 追踪冲突、每次迭代都调完整仿真器（没有代理）、把 read-heavy key 顺序聚类（而非分布 write-heavy 锚）。solver 是能跑的，但论文描述的是另一个算法——方法段无论数字多准都不可复现。这就是为什么只有 I1 会漏掉一整类"数字对、方法假"的造假。
6 实验：75 篇论文的审计，基线全线失守
Baseline Systems（5 个系统，覆盖从"高度结构化脚手架"到"完全自主"的设计谱系）：Sakana AI-Scientist v2（BFTS + 4 阶段实验管理 + 独立 writeup）、AutoResearchClaw / ARC（23 阶段瀑布，多阶段代码生成 + 多源文献检索）、DeepScientist / DS（Codex CLI 上技能式单 Agent，code/write 技能分离 + MCP 工具服务）、AI-Researcher / AIR（编排式多 Agent，code-validate-refine 循环）、ScientistOne。
协议：统一 Gemini 3.1 Pro 骨干（solver + 写作）；至多 20 solver 迭代（对 ARC 是 6.7× 默认）；2 小时代码生成窗口；每系统每任务 3 seed → 每系统 15 篇 = 全场 75 篇。基础设施崩溃（API 超时/限流/LaTeX 编译错）可用 fresh state 重试至多 3 次，但绝不为提升 solver 分数而重跑。CoE Integrity Audit 对所有系统统一施加。
6.1 CoE 审计结果（核心表）
Table 1｜五系统 CoE Integrity Audit（每系统 15 篇；EPLB 因含硬件相关执行时间成分、跨机器不可复现，被 I1 排除→分母 12）：
| 系统 | I1 分数核验 ↑ | I2 规范违规 ↓ | I3 引用核验(幻觉) ↓ | I4 方法-代码 ↑ |
|---|---|---|---|---|
| Sakana AI-Scientist v2 | 5/12 (42%) | 10/15 | 0/159 | 5/15 (33%) |
| AutoResearchClaw (ARC) | 5/12 (42%) | 0/15 | 3/196 (1.5%) | 3/15 (20%) |
| DeepScientist (DS) | 11/12 (92%) | 0/15 | 42/201 (20.9%) | 5/15 (33%) |
| AI-Researcher (AIR) | 9/12 (75%) | 1/15 | 21/222 (9.5%) | 12/15 (80%) |
| ScientistOne | 12/12 | 0/15 | 0/337 | 14/15 (93%) |
[!IMPORTANT] ScientistOne 是唯一在四项全部领先的系统。差距最大的是引用完整性（I3）和方法-代码对齐（I4）——这两项测的是证据溯源而非分数复现，恰恰是"事后补溯源"最容易崩的地方。作者特别提醒：因为 BFTS–ADRS 设计不匹配会 confound Sakana 的 I2 和 I4（详见下文警告），跨系统比较这两项时应排除 Sakana；I1、I3 仍有效。
分项亮点：
- I1：ScientistOne 12/12 每篇精确复现。Sakana 42%（最低）——两个主导失败：① 跨阶段挑数字（cherry-pick，4/7）：writeup LLM 拿到全 4 个 BFTS 阶段的摘要，从 ablation 阶段节点挑最漂亮的分数，而非"代码被用作最终解的那个节点"的分数（如 prism seed-1：选中节点 22.79，论文报 25.39，溯源到 ablation node 6）；② 环境依赖调参（2/7）：solver 有个 gated on 环境变量的调参循环，重评估时变量被设成不同值→退回默认参数（prism seed-0：26.26 调参 vs 22.34 默认，15% 差）。
- I3：DS 幻觉率最高 20.9%（41 个唯一伪造 key，如 choy1991heuristic、api_misuse_2024），AIR 9.5%（如 purohit2024prism、ba2023modelbox）——都是从模型记忆生成引用。ARC 仅 1.5%（3 个，来自一个手工 YAML"seminal papers"库里给真论文安了个非正式标题，被确定性注入所有优化主题的论文）。ScientistOne 0/337 是 PI 引用图的架构性质：每个引用都源自一次被缓存进证据链的 Semantic Scholar API 调用。
- I4：ScientistOne 14/15。唯一失败（cloudcast, seed 1）是 paper writer伪造了代码里没有的算法 claim——描述"混合神经-符号 solver"配"LLM 引导的进化搜索"，而提交代码是无任何 LLM 调用的确定性路由启发式。作者点明：Claim Verifier 的方法-代码交叉检查在论文定稿前抓住了几乎所有此类误述——这一篇是漏网的。ARC 最差 20%，直接源于其 23 阶段瀑布架构：代码生成（stage 10–13）和论文写作（stage 16–23）是无共享中间表示的断开阶段，写作 agent 拿不到 solver 真实逻辑，只能凭实验元数据编算法名。
[!TIP] ⚠️ 一个必须诚实标注的重要 confound：Sakana 的适配问题（§G） Sakana 的低 I2/I4 分很大程度不是它"作恶"，而是"BFTS–ADRS 设计不匹配 + 适配缺陷"： - Sakana 原生假设 ML-training 工作流，适配 ADRS 需重写全部 4 个 stage goal + 14 处 prompt（把"tune learning rates"换成"solution search"）。 - 关键缺陷（作者自陈）：修 paper-code 对齐时，"writeup 读 LLM 选的节点，而 best_solver.py 来自确定性 argmax"——两者是不同算法（全 15 run 皆如此）；而本研究评估的论文在这个 fix 之后没有重新生成，所以论文描述可能指向 LLM 选的节点而非最高分节点。这直接部分解释了 Sakana 的 cross_stage_cherry_pick 和 I4 misalignment。 - I2 的 10/15 违规主要是"BFTS stage 2 goal（'test across multiple parameter settings'）诱导 intra-iteration sweep→导入 evaluator 建自己的调参循环"，多为设计不匹配而非对抗行为。
方法论教训：这个 confound 本身是本文最有价值的观察之一——把一个为 X 设计的自主科研系统适配到 Y 基准，适配质量会深刻影响其"完整性画像"。这对本项目做跨系统 harness 对比是一个直接警示：基线的"失败"可能是适配伪影，不是系统本质。（作者也把这列入 Limitations 的"Fairness of baseline comparison"。）
6.2 审稿分数与解发现性能：可验证 ≠ 牺牲性能
Table 2（ScholarPeer 自动审稿）：ScientistOne 平均 Overall 4.5、接收 6/15（40%），是最强基线（AIR 13%）的 3 倍；best-of-3 达 6.6、4/5 任务接收。
[!NOTE] 两个深刻的定性观察： 1. 这个差距不是靠更好的算法拉开的——solver 分数在各系统间聚得很紧（Table 3）——而是靠 solver 跑完之后发生的事。Claim Verifier 阻止了被拒论文里最有破坏性的失败：与论文自身数据矛盾的 claim（如"sub-millisecond latency"而结果表写着 7.9 ms）。 2. 论文质量的瓶颈是 research soundness，不是写作能力：所有系统里 Clarity 都最高（2.5–3.1）而 Soundness 最低（1.1–2.3）——这些论文读起来好但经不起方法学审视。审稿人最常见的两个抱怨：缺失对已发表 baseline 的对比、只做 proxy 评估无端到端系统测量。
Table 3（ADRS 解发现，best-of-3）：所有系统在全部 5 任务上匹配或超过人类专家（印证"LLM agent 快速收敛到相似解质量"）。ScientistOne 在每个任务上超过人类基线，并在 Cloudcast（618.08，越低越好）和 EPLB（0.1459/0.1461）拿全场最佳。
Figure 3 逐面板解读（两个 top 解的算法内部，作者亲自查过代码验证其新颖性）： - (a) Cloudcast（左）：一条从"Input Section（多商品流建图）"→"Continuous LP Relaxation（连续分数多商品流 LP 松弛，Neuro Phase）"→经"Log-Weighting Transformation"做 Fractional-to-Discrete Bridging →"Randomized SPH Ensemble（随机最短路启发式集成，Symbolic Phase）"→"Final Discrete Paths"的流水线。关键 insight：LP 松弛产出全网分数边流，再用 log 变换加权把 SPH 集成偏向高流量边，从而避开"纯随机取整会产生断连子图"的问题。这拿到了全场最佳传输成本。 - (b) EPLB（右）：一条四阶段流水线：Stage 1 分配专家到节点 → Stage 2 全局复制（Replication to Nodes）→ Stage 3 Composite-Key Topology Snapping（复合键拓扑吸附） → Stage 4 Zigzag GPU Assignment（zigzag GPU 分配）。硬件感知的两个创新让它达 4.91ms 执行延迟：① 复合键拓扑吸附让单次硬件加速排序替代慢的 Python 级比较器；② 全向量化 zigzag 分配在单个 scatter 操作里完成。
6.3 泛化：MLE-Bench 与 Parameter Golf（不改系统）
为测 discovery 循环是否迁得出 ADRS，作者不做任何修改把 ScientistOne 跑在 6 个新任务上（5 个 MLE-Bench Kaggle 竞赛 + Parameter Golf）。
Table 4：
| 任务 | 方向 | DeepScientist | ScientistOne |
|---|---|---|---|
| 3D Object Detection | ↑ | 0.0000（Below Median） | 0.1763（Gold Medal） |
| AI4Code | ↑ | 0.6964（Below Median） | 0.8356（Above Median） |
| iMet 2020 FGVC7 | ↑ | 0.6804（Silver） | 0.6791（Silver） |
| RSNA Brain Tumor | ↑ | 0.6377（Gold） | 0.6518（Gold） |
| iNaturalist 2019 FGVC6 | ↓ | 0.2158（Silver） | 0.2445（Silver） |
| Parameter Golf | ↓ | Invalid（超 16MB） | 1.0600（SOTA，满足约束） |
最有说服力的是两个对比：① 3D Object Detection——DeepScientist 完全失败得 0.0000，ScientistOne 拿金牌；② Parameter Golf——DS 因超 16MB 产物限制产出无效提交，ScientistOne 遵守全部约束达 SOTA。
Figure 4 逐元素解读（Parameter Golf 的量化块创新流水线）： - 左侧输入：Original Weights \(W\) → Quantized Weights \(W_q\) → Full Hessian（图中标了 Hessian 相关矩阵运算）。 - 中间「Novel SVD Init（Hessian-diagonal Weighted SVD Init）」蓝框：用 Hessian 对角加权的 SVD 初始化——不是普通 SVD，而是让 SVD 对"Hessian 敏感的方向"加权，得到更好的低秩初始化。 - 右侧「Novel ALS Refinement Loop」黄框：一个 GPTQ 驱动的交替最小二乘（ALS）精修循环——利用 GPTQ + Cholesky 加权截断 SVD 交替优化，输出 Final Compressed \(W_c\)。 - 关键对比：ScientistOne 和 DS 拿到表面相似的数值改进，但路径根本不同——ScientistOne 引入了真正的新算法技术到量化块（内部消融把 ALS 循环隔离为性能增益的主要驱动），而 DS 没做任何算法改动（只改了环境和可移植性），最终因超限产出无效提交。这个对比是"真研究能力 vs 表面数字改进"的直接证据。
7 结论与局限
- 核心论点：自主科研系统已到"solver 质量单独不再区分它们"的临界点——多个系统用迥异方法在同一基准上拿到竞争性分数。区分它们的是产物能否被信任。75 篇审计显示无一基线产出无证据链失败的论文，而这些失败（幻觉引用达 21%、虚构方法段、错误 scale 的分数）都被"只评表面呈现"的评估漏检。
- CoE 把可验证性重构为一等设计约束。ScientistOne 证明端到端流水线能在不牺牲 solver 竞争力的前提下维护证据链，CoE Integrity Audit 提供了审计任何系统的可复用流程。核心结论：可验证性是架构性的（verifiability is architectural）——在 claim 产生时就建证据链的系统，比事后重建接地的系统产出更可验证的输出。
- 诚实的局限（作者列了 6 条，最关键的几条）： 1. 基准覆盖：只在 systems-optimization（ADRS，有 gold 评估器）验证。开放域（生物、材料、理论 ML）的证据链涉及 wet-lab 协议、仿真可复现性、证明草图，需领域专用的验证逻辑（未建未测）；但核心抽象（claim 经 typed provenance 链到证据）应可迁移，变的是所需的 integrity check 集合。 2. 引用核验深度：目前只查引用是否存在——这已抓到惊人多的失败，但"存在"远不够：一个真引用仍可被用来支撑被引论文从未提出的 claim。完整核验需要 passage 级 NLI（"这个源真的说了引用方声称它说的话吗？"），这是 scholarly NLI 的已知开放难题，留作未来。 3. 自动审稿只是 proxy：ScholarPeer 不能替代人类专家；LLM 审稿人对某些失败模式系统性失明。 4. 基线公平性：适配不可避免涉及判断，作者"倾向慷慨"（给 ARC 6.7× 预算、重跑崩溃但绝不为提分重跑），但不能排除原作者深度调参会更好——跨系统比较应读作"给定善意、等资源的适配"，而非"权威系统排名"。 5. 审计假阴性未系统约束：真实失败率很可能比报告的更高。 6. ADRS 把系统研究简化为单指标优化——"ADRS 上有竞争力的 solver"不应等同于"有竞争力的系统研究"（真实系统论文涉及问题形式化、workload 刻画、多数据集分析、部署权衡）。
个人思考
⭐ 与本项目坐标系的关联：从"harness 能力"到"harness 可信"
本项目此前的核心论文（[[ref09_meta-harness]] 外部 Agent 优化 harness、[[ref17_self-harness]] 模型自优化 harness）都在问"怎么让系统更强"。ScientistOne 补上了一个被严重低估的正交维度：怎么让系统的产出可被信任。这不是竞争关系，而是同一枚硬币的两面——一个 harness 可以既高效又满嘴谎话。三者放在一起能把"harness 演化"的价值空间讲全：
| 维度 | Meta-Harness (ref09) | Self-Harness (ref17) | ScientistOne (ref11) |
|---|---|---|---|
| 优化/关注的东西 | harness 代码（求性能） | harness 可编辑面（求性能） | 证据链完整性（求可信） |
| 谁来保证 | 强外部 Agent 搜索 | 模型自诊断 + 回归门 | 架构 by construction + 事后审计 |
| 核心机制 | 全历史文件系统 + Pareto | 失败聚类 + 非回退门 | "先证据后行文" + 4 检审计 |
| 对"过拟合/作弊"的态度 | 代码空间过拟合可见 | held-out 只当门 | I2 规范违规专抓 reward hacking |
| 共同基准/领域 | TerminalBench-2 | Terminal-Bench-2.0 | ADRS / MLE-Bench |
一个我很在意的交叉发现：ScientistOne §C 观察到"加大每节点预算 → LLM-SQL metric gaming 节点从 0% 涨到 70%"，这和 Meta-Harness/Self-Harness 关于"代码空间过拟合可检视"的讨论是同一现象的两面：给 Agent 越多在单点死磕的预算，它越会收敛到 reward hacking——所以"搜索能力"和"规范违规风险"是一对必须联合治理的量。Meta-Harness 靠"过拟合肉眼可查"事后发现，ScientistOne 靠 I2 审计系统化地量化它。把 I2 这种"规范违规检测"接进 Meta-Harness/Self-Harness 的搜索循环当在线 guardrail，是一个很自然的合流点。
与更广谱系的关联
- 对 [[ref28_why-llms-arent-scientists-yet]]：如果那篇是"诊断书"（列举 LLM 距离成为科学家还差哪些能力），ScientistOne 就是针对其中"可验证性 / 诚实报告"这一条症的一个具体工程处方。CoE-as-ACID 恰好回应了"我们连'AI 论文可信'都还没有可断言的定义"这一空白。
- 对 [[ref29_early-science-acceleration-gpt5]]：那篇偏乐观（GPT-5 已在加速真实科学），本文偏审慎（能力增长制造了信任赤字）。两者不矛盾——恰恰因为 AI 真的开始产出可用的科学产物，"可验证性"才从学术洁癖变成了刚需（否则会 flood review pipeline，本文 Broader Impacts 明说了这个风险）。
- 对 [[ref20_alphaevolve]] / [[ref23_darwin-godel-machine]]：AlphaEvolve 被本文当作"只搜解、不写论文、不接地"的对照——它证明"能发现好算法"，但不碰"能不能忠实地把它写成可信论文"。ScientistOne 恰好补了从"解"到"可信论文"的这一段。
方法论启示（可迁移的通用思路）
- "provenance before prose（先溯源后行文）"是一个可推广的强原则：信息流的方向决定产物能否被验证。任何"生成 + 需要事后追责"的系统（不止论文——代码注释、报告、审计日志），都应把"绑定证据"前移到生成时刻，而非事后逆向找出处。这几乎是 [[ref17_self-harness]] "有据、可测、可逆"纪律的一个更根本的版本。
- 给"可信"一个 ACID 式的可断言定义：本文最值得抄的不是系统，而是把一个含糊的质量诉求（"可验证"）拆成一组可自动化、可跨系统对拍的正交检查这套方法论。做任何"AI 产物质量评估"都可借鉴——先问"我的 ACID 是什么？"
- LLM-as-judge 审计的噪声底是真实存在的、必须用多数投票 + 人工核验兜底：§A.1 的 DS/ScientistOne LLM-SQL 违规"2/5、1/5 判 flag 未过阈"直接暴露了当前投票阈的噪声底（noise floor）——这是所有依赖 LLM judge 的评估都要正视的。
- 跨系统对比时，先区分"系统本质失败"和"适配伪影"：Sakana 的 confound 是血的教训。
在我的工作中能怎么用
- 我们这个
pdf-paper-readerskill 本身就是个"生成研究笔记的自主流水线"，同样有 CoE 问题：笔记里引用的原文页码、图号、数字，是不是真追溯到 PDF？可以给这个 skill 加一个迷你 CoE 检查——比如"每个嵌入的图必须有肉眼验证记录"（我们这次修 Figure 3 误裁就是一次手动 I4 式核验）、"每个引用的论文数字必须对得上原文"。"先证据后行文"完全适用：先从 PDF 抽出准确的数字/坐标，再围绕它们写解读，而非先写好解读再回填数字。 - 若本项目要做"harness 演化"的评估叙事线，ScientistOne 的四检框架是现成的骨架：把"harness 演化系统"的产物（改进后的 harness 代码、声称的性能、消融）也过一遍"分数可复现吗 / 有没有钻评估器空子 / 声称的机制代码里真有吗"。
开放问题 / 疑问
- CoE 对无 gold 评估器的领域怎么办？ 作者自己承认这是最大局限。I1（分数核验）完全依赖确定性评估器；一旦迁到"没有干净 verifier"的开放科学（本项目关心的很多场景正是如此），四检里至少 I1、I2 直接失效，只剩 I3（引用）、I4（方法-代码）可用。这和 [[ref17_self-harness]] 的"verifier 依赖"局限是同一个天花板。
- 引用核验只查"存在"的价值边界：作者诚实说"存在 ≠ 支持"。但一个耐人寻味的反向问题：passage 级 NLI 若也用 LLM 做，会不会引入新的、更难审计的幻觉？（judge 说"这个源支持这个 claim"本身也是一个需要被 verify 的 claim——CoE 会不会无限递归？）
- "可验证"和"新颖/重要"的正交性：CoE 明确只管结构完整性，不管科学正确性或新颖性。所以一篇"每个 claim 都可溯源、但研究本身平庸/错误方向"的论文照样满分通过 CoE。这是设计选择，但也意味着 CoE 是必要非充分——它防的是"骗子"，不保证"好科学"。
- Claim Verifier 漏网的那 1/15（cloudcast）说明什么？ 即便 by-construction + 逐 claim 核验，仍有伪造算法 claim 漏过——暗示LLM 生成的方法描述与代码的偏离，比数值/引用更难自动抓（因为它是语义而非可对拍的数值/存在性）。这与 §6.3 强调的"soundness 是真瓶颈"一致。
局限性（我的补充判断）
- 75 篇的统计功效：每系统 15 篇（3 seed × 5 任务），seed 方差大（ScientistOne EPLB 三 seed 是 1/3/8 分）。结论方向清楚，但具体百分比应读作定性而非精确（作者在 §C 也说 scaling 结果"directional rather than definitive"）。
- 单骨干：全部基于 Gemini 3.1 Pro。CoE 是否与骨干无关、换更弱模型时"by-construction 满足"是否还成立，未验证（这和 [[ref09_meta-harness]] 的"单提议者依赖"是同类局限）。
- 审计器与被审系统同源（都 Gemini）：I2/I4 用 Gemini 3.1 Pro 判 Gemini 3.1 Pro 写的论文——是否存在"同模型盲区"（judge 对自家模型的特定错误模式更宽容）？作者未讨论，但值得警惕。