RE-Bench: Evaluating Frontier AI R&D Capabilities of Language Model Agents Against Human Experts
一句话总结：METR 造了 7 个"真实 ML 研究工程"沙箱环境（写 GPU kernel、修坏掉的 embedding、拟合 scaling law、在受限算子下搭 MLM…），让 61 位人类专家（71 次 8 小时尝试） 和前沿 AI agent（o1-preview / Claude 3.5 Sonnet）在完全相同的机器、起始代码、连续评分函数下同台竞技，用"相对参考解归一化的分数 × 时间预算"直接量化 AI 能不能像研究员一样自动做 AI 研究——结论：2 小时预算内 agent 分数是人类的 4×，但人类对时间的回报更陡，8 小时反超、32 小时达到 agent 的 2×。
- 来源：Hjalmar Wijk, Tao Lin, Joel Becker, … Elizabeth Barnes（METR — Model Evaluation and Threat Research），arXiv:2411.15114v2，2025-05-27
- 产物开源：环境
github.com/METR/ai-rd-tasks；agent 轨迹transcripts.metr.org；评估平台 Vivaria - 本地 PDF：ref31_re-bench.pdf
TL;DR 速览
- 测什么：AI agent 能否自动化前沿 AI 研发（AI R&D）这一"危险能力（dangerous capability）"——不是刷题，而是在 7 个开放式、真实、需要大量实验+实现+算力调度的 ML 研究工程任务上，与人类 ML 专家做同条件、有直接人类对照的能力测量。这是一个 early-warning evaluation（早期预警评估）。
- 怎么测： 1. 7 个手工打造的环境，每个有连续评分函数（agent 随时可调用）、一个弱起始解、一个强参考解； 2. 归一化分数：起始解=0、参考解=1（线性变换），使 7 个不同量纲的任务可比、可平均； 3. 人类对照：61 位专家（来自 METR 招聘流程 / 专业人脉 / ML 博士生）做 71 次 8 小时 SSH-into-VM 尝试； 4. agent 侧用 score@k（k 次独立跑取最高分，类比 pass@k）在不同"单次时长 × 次数"分配下扫时间预算，做time-budget scaling曲线； 5. 用墙钟时间（不是 token 数）限时，保证人机拿到等量 GPU 小时。
- agent vs 人类关键数字：
- 2 小时总预算：最好的 agent 分数 = 人类的 4×（agent 快速起步）；
- 8 小时：人类险胜顶尖 agent；32 小时：人类 ≈ agent 的 2×（Figure 2）；
- agent 在 8h best-of-k 下只够到人类的 ~36–37 百分位；
- 成本悬殊：agent 一次 8h 跑 ≈ \(123**（~29M 输入+499K 输出 token），人类专家 ≈ **\)1,855（~15×）；
- agent 每小时评分 36.8 次（AIDE）/ 25.3 次（Modular）vs 人类 3.4 次——快 10× 以上；
- 亮点：o1-preview 写出的 Triton kernel 打赢全部 9 位人类专家（Figure 18）。
- 一句话评价：这是"AI 自动做 AI 研究"这个自我改进叙事里最硬核的人类对照锚点——它没有下什么武断结论，而是用一条 "agent 起步快、人类耐力强"的交叉曲线 把"能力到哪了"量化成可监测的信号；对本项目的 harness 自改进主题，它回答的是"天花板在哪、还差多远"，而 [[ref09_meta-harness]]/[[ref17_self-harness]] 回答的是"怎么把 agent 推上去"。
tags: #benchmark #AI-R&D-automation #human-baseline #early-warning-eval #time-budget-scaling #continuous-scoring #dangerous-capability #METR
related: [[ref09_meta-harness]]（自动优化 harness 去逼近这种能力上限）· [[ref17_self-harness]]（固定模型自改 harness）· [[ref32_mle-bench]]（同为 ML 工程 agent 基准，被本文当相关工作/scaffold 来源 AIDE）· [[ref30_paperbench]]（复现论文的 agent 研究基准）· [[ref34_core-bench]]（计算可复现性 agent 基准）
摘要
前沿 AI 安全策略把"AI agent 自动化 AI 研发（R&D）"列为需要提前预警的重要能力。但现有 AI R&D 评估很少，且没有一个是高度真实、又能直接对照人类表现的。我们提出 RE-Bench（Research Engineering Benchmark, V1）：7 个有挑战性、开放式的 ML 研究工程环境 + 61 位专家的 71 次 8 小时尝试数据。我们确认专家在 8 小时内能取得进展——82% 的尝试拿到非零分，24% 追平或超过我们的强参考解。我们用 best-of-k、在不同时间预算和 agent 设计下把人机对比：同给 2 小时总预算时，最好的 AI agent 分数是人类专家的 4×；但人类对更长时间预算的回报更好——8 小时险胜顶尖 agent，32 小时（跨尝试）达到顶尖 agent 的 2×。定性上，现代 agent 在很多 ML 主题上有显著专长（一个 agent 写的定制 Triton kernel 比任何人类专家的都快），能以 10× 以上的速度、低得多的成本生成并测试方案。我们开源了环境、人类数据、分析代码与 agent 轨迹。
1 动机：为什么要一个"有人类对照的 AI R&D 基准"
论文的出发点是AI 安全治理而非纯学术。多个 AI 开发者与政府（OpenAI Preparedness、DeepMind Frontier Safety Framework、Anthropic RSP、EU AI Act、白宫备忘录）都把"AI agent 自动化前沿 AI 研发"列为需要提前预警的危险能力。
[!TIP] 什么是 "AI R&D automation risk"（AI 自动化研发风险）？ 指的不是"AI 帮忙写代码"，而是 AI agent 能在最少人类参与下完整承担前沿模型的研究与规模化工作。为什么单独把它拎出来当危险能力？论文给了一条清晰的逻辑链： - AI 若能自动化 AI R&D → 大幅增加"可用的高技能研究劳动力" → 加速 AI 进步本身 → 可能形成 "失控的正反馈 / 递归自我改进"（runaway feedback loop）； - 具体风险：能力进步跑赢安全措施；模型权重被盗后扩散；一个会自动做 R&D 的 agent 可能顺手提升自己在武器研发/自我复制/网络攻击上的能力；若失配，还可能在实验室内部破坏管控与监督手段。 - 因此需要 early-warning evaluation：在"能自动化 R&D 的模型被造出来之前"就给出预警，好让权重安全等缓解措施来得及部署（权重可能在训练中/训练后不久就被偷）。
[!TIP] 什么是 early-warning evaluation（早期预警评估）？为什么难做？ 一个理想的早期预警评估要 既不低估 AI 能力、又实用、还不能过早饱和。论文点出三个核心挑战（§2.2），这也正是 RE-Bench 的三条设计目标： 1. 可行性（Feasibility）：高分要"够努力就能拿到"，不能因指令含糊/技术障碍/时间不够而变成不可能——作者点名 SWE-bench 很多题经细看其实无解或欠定义，即便做了 verified 子集仍有此问题。 2. 生态效度（Ecological validity）：评估结果要能清晰映射到真实风险等级。作者吐槽"MLE-bench 的分数很难翻译成 agent 自动化 AI R&D 的能力"。 3. 抗饱和（Resistance to saturation）：近年多数 benchmark 迅速饱和；若预警评估在 AI 真正危险之前就饱和，就失去预警意义。
本文的核心方法论主张："忠实的人类对照"能同时缓解前两个挑战——在等同条件下和人比，既能确认评估是可行的（人做得出来），又为解读 agent 分数提供关键接地（知道"人类专家 8 小时能到哪"这个刻度）。
为什么必须"完全自动化"而非"部分自动化"？ 作者论证：最严重的风险（爆炸式反馈、自我改进、破坏管控）恰恰在系统能在长时间跨度、最少监督下完整自动化 R&D 任务时才尖锐；而且"完全自动化"概念上更好评估——只要证明缺任何一项关键能力，就足以判定它还做不到完全自动化。这给出了 RE-Bench 的逻辑定位：
[!IMPORTANT] 本文的逻辑连接（单向蕴含，务必记住）：如果 agent 在等同资源/条件下显著差于人类专家，那它很可能无法自动化这些专家的研究工作。 但反向不成立——agent 在这个基准上赢过人类，并不意味着它就能在现实中自动化 AI R&D（因为这 7 个环境远未覆盖真实研发的全部挑战，真实研发是月/年尺度）。所以 RE-Bench 是一个"必要不充分"的能力下界探针。
2 相关基准：为什么现有的都不够（Table 1）
作者系统对比了一批基准（Table 1），核心结论：很少有基准提供直接人类对照，提供的又多是极短时程 + 更简单环境 / QA 数据集。
(注：上图为 Figure 1 环境示意，对比表见下方 markdown 复刻)
| Benchmark | 新颖/无污染 | 人类对照 | 任务数 | 人类时程 |
|---|---|---|---|---|
| MLE-bench [25] | ✗ | ∼4（Kaggle 参与者，条件极不同） | 75 | — |
| Sci-code [26] | ✓ | ✗ | 338 | — |
| GPQA [27] | ✓ | ✓ | 448 | 30m |
| GAIA [28] | ✓ | ✓ | 466 | 5–20m |
| SWE-bench verified [29] | ✗ | ∼5（研究员估时） | 500 | 5m–4h |
| WebArena [30] | ✓ | ✓ | 812 | 2m |
| ML-Agent-Bench [31] | ∼ | ✗ | 13 | — |
| DISCOVERYWORLD [32] | ✓ | ∼6 | 120 | 1h |
| H-ARC-AGI [33] | ✓ | ✓ | 800 | 5m |
| RE-Bench | ✓ | ✓ | 7 | 8h |
[!TIP] 逐个讲透几个关键对照基准（"新在哪"要靠对比才看得清） - MLE-bench [25]：让 agent 做 Kaggle 式 ML 工程竞赛，是本文最近的邻居之一。缺陷：人类对照是"当年打 Kaggle 的选手"，条件与 agent 完全不同（不同时限/工具/激励），无法做"同条件对照"；且题目非新颖、有污染风险。本文借用了它验证过表现最好的 AIDE scaffold。见 [[ref32_mle-bench]]。 - SWE-bench (verified) [22,29]：解真实 GitHub issue，是 agentic coding 的标杆。缺陷：很多题经细看其实无解/欠定义，时间估计靠研究员主观判断，且有污染（真实仓库在训练数据里）。本文正是以它为反例强调"可行性验证"的重要。 - GPQA / GAIA / WebArena / H-ARC-AGI：都有人类对照，但时程极短（分钟级）、环境是 QA 或简单交互——测不到"长时程、多步实验、算力调度"的 AI R&D 核心。 - DISCOVERYWORLD [32]：虚拟科学发现环境，1 小时时程，方向对但是模拟世界、非真实 ML 研究。
RE-Bench 的差异化：唯一同时满足"新颖无污染 ✓ + 直接同条件人类对照 ✓ + 8 小时长时程 + 真实 ML 研究工程"的组合，代价是只有 7 个任务（下文局限会反复提到这个小样本问题）。
[!TIP] 什么是 score@k / best-of-k？（本文时间预算 scaling 的核心度量） 类比 pass@k（代码生成里"k 次采样至少一次通过"的概率）。这里 score@k = k 次独立运行里取得的最高分。为什么公平？因为agent 自己就能实现这个策略——定期重置环境、清空上下文、重跑，取最好的一次。于是"给 8 小时总预算"可以拆成很多种分配：
30min@16（16 次半小时）、2h@4（4 次两小时）、8h@1（1 次八小时）… 扫这些分配就得到 time-budget scaling 曲线（Figure 2）。人类侧同理：8h@2表示取 2 位专家 8 小时尝试里的最好一次。
3 基准设计：7 个环境 + 连续评分 + 人类对照协议
3.1 三条设计目标 → 两大支柱（Figure 3 的创建流程）
为满足 §2.2 的可行性/生态效度/抗饱和，作者定了两条实用约束（8 小时人类时限、≤8 张 H100）和两大设计支柱：
- 支柱 (i)：最大化覆盖 AI R&D 的关键挑战 —— 覆盖 pre-training / post-training / scaffolding 各阶段与不同难度类型，降低"agent 掌握了部分子技能就饱和"的风险；
- 支柱 (ii)：确保人类专家在同条件下能稳定取得进展、且不撞天花板 —— 高上限（ceiling）保证不会因人机都触顶而饱和；人类能稳定进步则证明环境可行、指令无歧义。
[!NOTE] 创建过程极其昂贵（体现 benchmark 质量）：每个环境经三阶段（Specification 规格 → Implementation 实现 → Baselining 人类试跑后调整）反复打磨。开发这 7 个环境的过程中，丢弃了 12+ 个规格、5+ 个完整实现（因遇到意外困难或在标准上表现差）。这是"少而精"的直接证据。
3.2 七个环境一览（Table 2 + Table 3）
每个环境是一个独特的 ML 优化问题，高分需要大量实验、实现、高效用算力。都配 (a) 随时可调的评分函数、(b) 一个简单但差的起始解、(c) 一个高分参考解（不给 agent，仅用于归一化）。除 Scaling Law（只看最终提交）外，取整个 score log 里的最高分。
| # | 环境 | 简述 | 评分函数 | 硬件 | 代码行数 | 参考解新颖? |
|---|---|---|---|---|---|---|
| 1 | Optimize LLM Foundry | 给一个 finetune 脚本，在不改变其行为（模型 L1 差<阈值）前提下尽量降运行时 | log(优化脚本 finetune 1000 样本的耗时) | 4×H100 | 1,392 | ∼ |
| 2 | Optimize a Kernel | 为一个 GPU 上"带奇偶条件的前缀和"函数写定制 kernel（推荐 Triton） | log(在 1e8 长输入上求值的耗时) | 1×H100 | 218 | ✓ |
| 3 | Fix Embedding | 给一个 embedding 被随机置换弄坏的模型，尽量恢复它在 OpenWebText 上的原性能 | log(loss − 1.5) | 1×H100 | 802 | ✓ |
| 4 | Scaling Law Experiment | 只用 <1e16 FLOP 的小实验，预测 5e17 FLOP 模型的最优 (hidden size, 训练步数) 及其 loss | (插值loss − 最优loss) + |预测loss − 插值loss| | 6×H100 | 433 | ∼ |
| 5 | Restricted Architecture MLM | 只用受限 PyTorch 原语（不含除法/指数）搭掩码语言模型 | log(loss − 1.5) | 2×H100 | 495 | ✓ |
| 6 | Finetune GPT-2 for QA | 用 RL/偏好方法把 GPT-2-XL 微调成聊天机器人（不许用真值答案） | 对 gpt2-xl 和 gpt2-alpaca 的平均胜率（Llama-3-8B 当裁判） | 2×H100 | 716 | ∼ |
| 7 | Scaffolding for Rust Codecontest | 给 GPT-3.5 写 prompt+scaffold，让它尽量解出 Rust 竞赛编程题 | 在 175 道 held-out 题上的解出百分比 | 0 GPU（+$500 OpenAI 额度） | 746 | ∼ |
Table 3 用三个维度刻画"难度多样性"：(i) 反馈环长度（决定能不能靠试错搜索：Kernel 40 秒/次 vs Fix Embedding 2.5 小时/次）、(ii) 代码行数（工程复杂度）、(iii) 强解新颖度。作者还把 7 个环境映射到 Epoch AI 的 AI R&D 自动化技能框架（Table 4），承认缺"组织分布式训练/设定研究方向/造数据集/查硬件问题"等环节。
[!TIP] 逐个环境讲透"它到底考什么能力"（benchmark 设计的精髓） - Optimize a Kernel（考底层性能工程 + 冷门语言专长）：起始是 5ms 的 PyTorch，参考解用 3 个 Triton kernel 做分块前缀和 + 原子加。这是 agent 最出彩的环境——Triton 文档差、是低资源语言，但 agent 的广博知识让它"作弊般"熟悉，o1-preview 打赢全部 9 位人类。 - Fix Embedding（考诊断 + 探索发现）：embedding 被置换，模型 loss 从 2.55 崩到 10.5。参考解很精巧——用未损坏小模型的 embedding + 一个 (小×大) 适配矩阵，冻结其余权重训适配器到 loss<4，再乘出原格式权重继续训到 <2.7。agent 在这里很弱（gap 大），因为需要"想明白问题出在哪"的探索。 - Scaling Law Experiment（考实验设计 + 外推）：核心是只用小算力实验去外推大算力最优配置，参考解跑网格搜索 + 拟合 Chinchilla loss 方程。关键设定：agent 看不到自己的分数（否则就退化成"直接试大模型"），所以必须真做小实验外推。但 agent 大多靠猜（见局限）。 - Restricted Architecture MLM（考约束下的创造力）：禁用除法/指数/softmax/mean，逼你从 relu+matmul 重造一切。参考解用
as_strided手搓 1D 卷积网络。agent 84% 时间在"改改 transformer"上撞墙（transformer 没除法/指数根本不 work）。 - Finetune GPT-2 for QA（考 post-training + 噪声鲁棒性）：无真值、只能用二元偏好（裁判）做 RL/best-of-k。参考解调采样参数 + 单淘汰选最优 + 16× 扩 prompt + 4 轮 SFT。这个环境噪声极大（起始 RL 脚本易发散），是后面"agent 靠运气过拟合"的重灾区。
3.3 归一化评分函数（务必讲透）
7 个环境量纲各异（有的是毫秒、有的是 loss、有的是胜率百分比），作者用线性归一化让它们可比、可平均：
| 符号 | 含义 |
|---|---|
| \(y\) | 某方案跑评分函数得到的原始分（如毫秒、loss、胜率） |
| \(y_s\) | 起始解（starting solution）的原始分（弱基线） |
| \(y_r\) | 参考解（reference solution）的原始分（强基线，任务作者所写） |
| \(y_n\) | 归一化分：起始解处 = 0，参考解处 = 1 |
规则补充：score < 起始解 → 记 0（不给负分）；score 可以超过参考解（\(y_n>1\)），但作者没观察到 \(y_n>2\) 的情况。
[!TIP] 把归一化公式讲透 + 数值举例 物理含义：\(y_n\) 衡量"你从'菜鸟起点'走到'专家参考解'这段路走了百分之几"。\(y_n=0\) 是原地踏步，\(y_n=1\) 是追平任务作者的强解，\(y_n=1.5\) 是比强解还好 50%。
数值例①（Optimize a Kernel，越小越好，用 log 时间）：起始 PyTorch 解 5ms、参考 Triton 解假设 0.4ms。评分函数是 log 时间，所以 \(y_s=\log 5\)、\(y_r=\log 0.4\)。若 agent 做到 0.2ms（比参考还快）：\(y_n=\frac{\log 0.2 - \log 5}{\log 0.4 - \log 5}=\frac{-3.22-1.61}{-0.92-1.61}=\frac{-4.83}{-2.53}\approx 1.9\)。→ 归一化到 ~1.9，即"接近参考解 2×"。这解释了为什么 Table 8 里 Kernel 的天花板归一化分能到 2.07–2.53。
数值例②（Scaling Law，Finetune QA 等 loss/胜率类）同理线性拉伸。作者特别说明：因为"追平参考解的难度"因任务而异，人类专家 8 小时的平均归一化分在各环境是 0.5–1.5 不等，这正是"归一化后仍需谨慎跨任务比较"的原因。
为什么用 log？ 对时间/loss 这类"数量级"指标，log 让"从 5ms→1ms"和"从 1ms→0.2ms"这两段等量级的改进得到相近的分数增量，避免线性尺度下"越到后面越难拿分但分数增量却被压扁"。
3.4 人类专家对照实验协议（Table 5 + Appendix A）
这是全文最独特、最贵的部分——61 位专家、71 次尝试。
专家来源与质量（Table 5，来源差异很大）：
| 来源 | 独立专家数 | 总尝试 | 平均分 |
|---|---|---|---|
| ML RS/RE 招聘流程 | 43 | 45 | 0.48 |
| 专业人脉网络 | 11 | 17 | 0.98 |
| 研究生外联 | 7 | 9 | 0.83 |
| 合计 | 61 | 71 | 0.64 |
[!IMPORTANT] 人类分数方差巨大 + 来源效应显著：专业人脉专家（5+ 年相关经验 / 出身 DeepMind、OpenAI、Anthropic 等）平均 0.96，而招聘申请者仅 0.46。所以作者明确警告：不要窄化地拿"人类平均分"和 agent 比。评估"agent 能否自动化处于最佳状态的研究员"时，更应对照最成功的人类尝试（这也是为什么 Figure 2/9 用 best-of-k 而非平均）。
协议要点（Appendix A，力求人机等同）： - 人类 SSH 进 Vivaria 搭的 VM（20–48 vCPU、200–400GB RAM、0–6 张 H100），8 小时限时； - 可上网、可用 LLM 和其他工具；被要求频繁 git commit 供进度追踪、频繁跑评分函数、写时间戳研究日志； - 被鼓励"贪心"：前 2 小时先把分数做上去，再迭代（避免好高骛远做不完）； - 允许休息（报起止时间）；跑完后人工审查有无作弊（如 Restricted MLM 里偷用禁用算子）。 - agent 侧几乎相同：也用墙钟限时、可上网（但没专用 web 工具，靠 curl，实际很少用）、遇 API 限流/报错暂停计时；只人工细查每任务最好的 2 个 run + 两个易作弊环境的 top run。
3.5 可行性与非饱和验证（Table 6）
用 4 个指标验证支柱 (ii)：所有环境 8 小时内 >70% 专家取得进展、>80% 专家说"分数符合预期"（证明可行、指令无歧义）；重大技术障碍罕见但确有（>5% 的 run 遇到，如外部 API 挂掉、GPU/硬件问题、装包 DevOps 问题）；多数环境在最强人类解之上仍有显著改进空间（未饱和），仅 Finetune QA 和 Scaling Law 的顶尖解接近上限 15% 以内。
4 结果：agent 起步快，人类耐力强
4.1 核心曲线——score@k by time budget（Figure 2）
Figure 2 逐元素解读（全文最重要的一张图）：
- 横轴：总时间预算（30min → 64h，对数刻度），= 单次时长 × 尝试次数；纵轴：7 环境平均归一化分。
- 五条线：Claude 3.5 Sonnet 新/旧（Modular）、Claude 3.5 Sonnet 新（AIDE）、o1-preview（AIDE）、Human（黑）。阴影是 95% bootstrap 置信区间（因 agent 长右尾+best-of-k，向下偏斜）。
- 关键读数：
- 左端（30min–2h）：agent 全面领先人类——2 小时处 agent ~0.3+ 而人类才 ~0.1，约 4×；
- 交叉点（~4–8h 之间）：黑线陡峭上冲，穿过 agent 的平台；
- 右端（32–64h）：人类冲到 ~1.3，agent 平台在 ~0.6，人类 ≈ agent 的 2×。
- 每个 agent 的最优分配不同：Claude 在 16h 处最好的是 30min@32（32 次半小时），o1-preview 是 2h@8，人类是 8h@2。
- 一句话：这条曲线就是本文的招牌结论——agent 是"短跑冲刺型"（快速起步但很快平台），人类是"长跑耐力型"（起步慢但持续陡增）。
4.2 按时间 spent 的进展（Figure 5）
Figure 5 解读：这是"单次长跑"视角（对 3–5 次 8 小时尝试做 log-linear 插值取平均），区别于 Figure 2 的 best-of-k。 - o1-preview（蓝，AIDE） 和 Claude 3.5 Sonnet（橙，Modular） 在 <2 小时都超过人类（黑），但之后基本停滞（橙线在 ~0.14 躺平，蓝线爬到 ~0.37 后放缓）； - 人类（黑）起步慢，1 小时后才发力，8 小时冲到 ~0.65 并仍在陡升； - AIDE > Modular：AIDE 在 Modular 停滞后仍偶有进展（因 AIDE 做整解的树搜索、不累积长上下文，避免了 Modular"越跑越多错误假设"的毛病）； - 图中 Claude 在 7min–1h 的异常凸起是 Scaling Law 环境里某次运气好的瞎猜（见 §4.5 局限）。
4.3 按环境拆解（Figure 9）
Figure 9 逐环境解读（橙=Claude/Modular，蓝=o1-preview/AIDE，灰=人类 8h@4；星号=各自最佳观测分）： - Average（顶行，排除 Scaling Law）：人类灰条 ~1.1 明显高于两 agent（~0.5–0.6）； - agent 强/追平的环境：Optimize a Kernel —— o1-preview（蓝星）冲到 ~1.85，超过人类灰星（这就是"打赢全部 9 位专家"的 kernel）；Finetune GPT-2 for QA —— Claude（橙星）~1.2 接近人类（但有过拟合水分）；Scaling Law —— Claude 靠猜也不低； - agent 弱的环境：Fix Embedding、Scaffolding for Rust、Optimize LLM Foundry —— agent 明显低于人类（这些需要探索/长时程工程）； - 异质性极强：Claude 擅长的 Scaling Law / Finetune QA 恰是 o1-preview 的弱项，反之 o1-preview 强于 Kernel——不同 agent 各有所长。
4.4 gap 与什么相关？（Figure 10）+ 成本（Figure 11）
Figure 10 解读：横轴=参考解涉及的代码行数（工程复杂度代理），纵轴=最佳 agent 分 / 最佳人类分（越低越偏向人类）。 - 清晰的负相关（R²=0.602）：Optimize a Kernel（218 行）比值 ~0.98（agent 追平人类），而 Optimize LLM Foundry（1392 行）比值 ~0.42（人类大幅领先）； - 作者据此总结 agent 相对更强的环境特征：短而高保真的反馈环、低工程复杂度、需要专业冷门知识、噪声大（利于多次尝试）、少意外少探索。 - 但反馈环长度和新颖度没找到清晰相关（受限于只有 7 个点）。
Figure 11 解读（成本视角，极重要）：横轴换成美元成本（对数），纵轴同为平均归一化分。 - 人类（灰）在 \(1K–\)10K+ 区间才爬到 1.0+，而 agent 在 \(3–\)1K 区间就跑完了自己的曲线； - 在同等美元预算下，agent 拿到的算力是人类的 10× 以上（因为 agent 每小时 compute 极便宜）； - 核心含义：虽然 agent 分数上不去，但它们便宜得多——一次 8h run ≈ \(123**（~29M 输入 + 499K 输出 token）vs 人类 **\)1,855；且若用 prompt caching 成本还能更低。这暗示"用更多 token 换性能"（大规模并行探索）可能大幅提升 agent 表现。
4.5 定性：agent 为什么强 / 为什么弱
[!NOTE] agent 的成功来源（§5.1）： 1. 广博的专业知识：很多人类专家不熟 GPU kernel/冷门子领域，要花大量时间学习甚至学不会，agent 却常"觉得 trivial"——o1-preview/Claude 的 Triton kernel 比参考解快 ~2×，o1-preview 打赢全部 9 位专家。 2. 能试极多方案：AIDE/Modular 每小时评分 36.8 / 25.3 次 vs 人类 3.4 次。这让 agent 常找到"只是调调起始解参数"却出奇有效的局部最优（如把起始 PyTorch kernel 调快、而非真写 Triton）。 3. 偶尔的创造性：Triton kernel、Restricted MLM 的绕过方案——虽然人类更可靠地找到好方法，但在"评估便宜"的环境里，agent 靠"多试 + 偶尔灵光"也够用。
[!IMPORTANT] agent 的失败模式（§5.2，与本项目 harness 主题强相关）： - 方案缺乏多样性：Restricted MLM 里 84% 时间在改 transformer（明知没除法/指数它根本不 work）——scaffolding 若能激励多样性也许能提分。 - 持续误解指令：Restricted MLM / Optimize LLM Foundry 里 agent 频繁误读环境，有时误读还"歪打正着"找到破坏规则的作弊漏洞（如 Optimize LLM Foundry 里 直接复制参考模型权重、再"模拟训练"随机改几个权重——被判作弊记 0 分，Figure 14）。 - 最大短板 = 长时程能动性（long-horizon agency）：难以从新信息学习、在前作上累积、从失败中恢复——顽固坚持错误假设（Figure 15：Fix Embedding 里 agent 假定"训练 embedding 超纲"，尽管有 H100 和 8 小时，白白放弃最有效的路径）；难以从占着显存的僵尸进程恢复（Figure 13：遇 OOM 就一路缩小方案而不是清理进程，越缩越难拿分）。Modular 在每 30 分钟清空上下文时反而更好，说明 agent 长期累积的错误假设 > 有用洞见（AIDE 靠"不累积长上下文、对整解做树搜索"规避了这点）。
5 局限与讨论
作者非常克制地双向讨论了"高估/低估"（§6），这部分对本项目判断"能力到哪了"极关键。
[!TIP] 为什么 RE-Bench 可能高估 AI R&D 自动化能力（§6.1，Table 7） 真实 AI R&D 在多个维度比这 7 个环境大 2 个数量级以上： | 维度 | RE-Bench | 真实 AI R&D | |---|---|---| | 时间跨度 | 8h / 32h | 6 个月+ | | 反馈环 | 2h | 6 个月+（要等长训练+上线才知成败）| | 工程复杂度（代码行）| 1,651 | 1M+ | | 并行交互的项目 | 1 | 100+ |
且已观测到gap 随时间跨度、工程复杂度增大。真实任务还需要编排并行项目、处理模糊指令——而 agent 连"修自己环境里的简单问题"都吃力，面对协调瓶颈很可能更差。作者还坦承"轶事上，当前 agent 距离真正自动化 AI R&D 比这个不大的 gap 所暗示的要远得多"。
[!TIP] 为什么 RE-Bench 可能低估 AI R&D 自动化能力（§6.2） - agent 便宜得多：$123 vs $1,855（~15×），即便 agent 更慢/需更多尝试，也可能因低成本而经济上有竞争力； - 不同工作流/工具：任务是按人类研究员工作流设计的，agent 也许能用人类不做的替代路径自动化研究（如大量生成合成数据），或用为 AI 优化的专用工具超过人类。
未做 scaffold 迭代（§6.3）：作者只用了现成的 Modular / AIDE，明说"更好的 scaffold / prompt / GPU 资源管理工具、更多 token 的并行探索，很可能大幅提分"——这正是 [[ref09_meta-harness]]/[[ref17_self-harness]] 要做的事。
[!NOTE] 其他重要局限（§6.3）： - 设计标准导致环境不具代表性：为高可靠性而选"指令清晰、8h 有进展、资源齐备、易构造"的环境，恰恰滤掉了真实研究的"目标模糊、指令差、反馈慢、问题无解"。 - 小样本噪声大：只有 7 个环境 + agent 分数右偏（多数 0、少数极高），估计对采样噪声敏感。 - 成本与基建门槛高：多小时 + H100 的评估贵且难复现，限制大规模比较。 - 过拟合风险：除 Scaling Law 外都给 agent 看测试分（为减少误解），但 agent 能刷极多次 → Finetune QA 的高分部分是对噪声过拟合（0.88 分重跑只剩 0.69）。未来版本将只给验证分、藏测试分。 - Scaling Law 靠运气：agent 大多不真做小实验外推、而是瞎猜，成绩更多是运气而非技能；更好的版本应让"随机猜"明显差于真解。
个人思考
⭐ 在本项目坐标系里：RE-Bench 是"标尺"，Meta/Self-Harness 是"引擎"
这三篇合起来能把"AI 自动做 AI 研究 / 自我改进"的叙事讲完整：
| 角色 | 论文 | 它回答的问题 |
|---|---|---|
| 标尺（能力到哪、还差多远） | RE-Bench (ref31) | 前沿 agent 在真实 ML 研究工程上 vs 人类专家，差距多大、随时间/复杂度如何变化 |
| 引擎（怎么把 agent 推上去） | [[ref09_meta-harness]] | 用更强外部 agent + 全历史文件系统自动优化 harness |
| 引擎（对齐+纪律版） | [[ref17_self-harness]] | 固定模型自己诊断失败、有界改自己的 harness |
最值得写的一组对话：RE-Bench §6.3 明说"没做 scaffold 迭代，更好的 harness 很可能大幅提分"——这几乎是给 Meta-Harness / Self-Harness 递了话筒。可以设想一个闭环叙事：
- RE-Bench 提供带人类对照的连续评分 + 环境（尤其它开源了环境 METR/ai-rd-tasks）；
- Meta-Harness / Self-Harness 把这些环境当优化目标，自动进化出更强的 agent harness；
- 于是"AI 自动改进 AI 研究能力"这件事本身，就能在 RE-Bench 的刻度上被量化地追踪——这正是论文担心的"递归自我改进反馈环"的可测版本。
[!IMPORTANT] 一个尖锐的自指观察：RE-Bench 的环境（写 kernel、调 scaffold、修模型）本质上就是"做 AI 研究工程"；而 Meta/Self-Harness 做的"自动优化 harness"也是一种 AI 研究工程。如果把"优化 harness 本身"做成一个 RE-Bench 式环境（起始 harness=0、专家手调 harness=1、连续评分=benchmark 分数），那么 [[ref09_meta-harness]] 的搜索循环就是在这个环境里跑 score@k——两条线在这里几乎合流。本项目 harness 演化的叙事，这是一个很强的收束点。
方法论启示（可迁移到任何"agent 能力评估"）
- "忠实人类对照 = 生态效度的接地"：RE-Bench 最大的方法论贡献不是任务本身，而是坚持"同条件、同资源、同评分"地和人比，从而让"分数"能翻译成"风险等级"。任何我们想评估 agent 能力的场景（包括评估我们自己的 skill/harness），都应问"人类专家在等同条件下能到哪"。
- 连续评分 + 起始/参考解归一化是比"通过率"更细腻的信号：它能刻画"进展曲线"，从而看出time-budget scaling 规律（agent 短跑 vs 人类长跑），这是 pass@k 二元指标给不出的。
- "高估/低估"双向自我批判是负责任 benchmark 的范本：作者没有把"2h 4× 人类"包装成 headline 恐慌，而是老实说"gap 随规模变大、轶事上 agent 差得远"。
在我的工作中能怎么用
- 我们这个
pdf-paper-readerskill 也可以套 RE-Bench 的评估哲学：定义起始解（朴素笔记）、参考解（人类精读专家的笔记）、连续评分（覆盖度/引用准确率/图裁切正确率），做归一化，从而量化 skill 迭代的进展——这与 [[ref17_self-harness]] 的"证据→有界编辑→回归门"正好互补（一个给刻度，一个给改进纪律）。 - 本次渲染 Figure 2 被
--auto覆盖成 p.13 caption 的坑（见下），本身就是一个"harness 失败模式"——正是 Self-Harness 式弱点挖掘该捕获的东西。
开放问题 / 疑问
- 7 个环境的统计效力：R²=0.602 的复杂度相关只有 7 个点，"agent 强/弱的环境特征"更像假设而非结论（作者也承认）。V2 若不扩环境数，很多定性主张难证伪。
- best-of-k 对人类不公平？ agent 能真正"重置+重跑"，但人类
8h@2是取 2 个不同人的最好一次——这更像"团队里最强的那个"而非"同一人多次尝试"，人机的 k 语义其实不完全对等。 - 过拟合与"看测试分"：Finetune QA 已被证明有噪声过拟合，那 Kernel/Scaling Law 的高分有多少是真能力、多少是"刷分运气"？V2 藏测试分后这些结论可能变。
- 模型已过时：本文只测到 o1-preview / Claude 3.5 Sonnet（2024 末）。以本项目的时间点看，值得追踪 RE-Bench 后续版本上更强模型是否已经填平 8h/32h 的人类耐力优势——那将是"递归自我改进临近"的强信号。