返回文档库
harness_evolve/notes/ref23_darwin-godel-machine.md

Darwin Gödel Machine：自我改进 Agent 的开放式演化

一句话总结：把 Schmidhuber 那台"必须证明每次自我修改都有益"的理论 Gödel machine，替换成"用编码 benchmark 实证验证每次修改是否真的更好"——再借达尔文演化与开放式（open-endedness）研究的思想，让一个能改自己代码的编码 Agent 维护一个不断生长的 archive（存所有历史 agent 当垫脚石 stepping stones），反复"从 archive 采样父代 → 自我修改成子代 → 上 benchmark 打分 → 存回 archive"，长成一棵多样、高质量 agent 的演化树；SWE-bench 从 20.0%→50.0%、Polyglot 从 14.2%→30.7%，逼近人类手工打磨的开源 SOTA。

TL;DR 速览

tags: #harness工程 #自我改进 #self-improving-agents #open-endedness #darwinian-evolution #godel-machine #stepping-stones #SWE-bench #objective-hacking

related: [[ref13_adas-automated-design-agentic-systems]]（archive + meta-agent 编程新 agent，DGM 的直系前身，且同为 Hu/Lu/Clune）· [[ref16_stop-self-taught-optimizer]]（scaffold 层递归自改进的最早概念验证，DGM 的"完整 RSI"版）· [[ref09_meta-harness]]（外部强 Agent + 全历史文件系统优化 harness）· [[ref17_self-harness]]（把自我改进收窄成"有界 + 回归门"的受控切片，明确引 DGM）· [[ref21_shinkaevolve]]（LLM 引导的开放式程序进化，同为 Sakana 系）

摘要

今天大多数 AI 系统被人类设计的固定架构限制，无法自主、持续地改进自己。科学方法则是一个累积、开放式的系统。Gödel machine（Schmidhuber, 2007）提出了一个理论替代方案：一个反复以可证明有益的方式修改自己的自我改进 AI。可惜在实践中，证明大多数改动净有益是不可能的。我们提出 Darwin Gödel Machine（DGM）——一个反复修改自己代码（从而也提升它修改自己代码库的能力）、并用编码 benchmark 实证验证每次改动的自我改进系统。

受达尔文演化与开放式研究启发，DGM 生长一个已生成编码 agent 的 archive，从中采样 agent、让它们自我修改成新颖有趣的版本；这种开放式探索长成一棵多样、高质量 agent 的树，允许并行探索搜索空间里的多条路径。实证上，DGM 自动提升自己的编码能力（如更好的代码编辑工具、长上下文窗口管理、peer-review 机制），把 SWE-bench 从 20.0% 提到 50.0%、Polyglot 从 14.2% 提到 30.7%，且显著超过"无自我改进"或"无开放式探索"的基线。所有实验都带安全预防措施（沙箱、人类监督）。

1 介绍：让 AI 像科学一样踩着自己的肩膀往上长

论文开篇立了一个很有感染力的类比：科学进步是累积且开放式的，transformer 不是凭空出现的，而是站在 RNN、注意力机制等多年积累之上。可我们最先进的 AI 系统本身却被固定的、人类设计的架构限制，在预定义边界内学习，没有能力自主重写自己的源码去自我改进——于是每一步进展仍严重依赖人类干预，进步节奏被人力"拴住"。本文要问的就是：能不能安全地自动化"搜索更好的 AI"这件事本身？

[!TIP] 什么是 Gödel machine（哥德尔机）？ Schmidhuber (2007) 提出的一类数学上严格、自指、自我改进的问题求解器。它的核心机制是：系统持有自己的完整代码，并且只有当它能形式化证明"某次改动会带来净收益"时，才执行这次自我重写。这个"可证明有益（provably beneficial）"的门槛保证了每一步都不会让系统变差，理论上极其漂亮。 - 致命的实践障碍：在不对系统做限制性假设的前提下，为大多数改动给出形式化证明是不可能的。论文举了一个很贴切的例子——直觉上"给编码 Agent 更多工具（代码搜索、测试运行器）"似乎总是好的，但实际影响高度依赖模型的训练和任务上下文（一个为某种 setup 优化的测试工具，换个环境反而可能把 Agent 搞糊涂）。所以你根本无法事先证明"加这个工具有益"。 - DGM 的松弛：把"证明有益"换成"实证有益"——先改、再上 benchmark 试、按观测结果选择。这就把一台"理论上完美但造不出来"的机器，变成了"理论上不保证但真能跑"的机器。名字里的"Gödel"致敬这个理论理想，"Darwin"标记这个实证-选择的实现路径。

[!TIP] 什么是开放式（open-endedness）？ 开放式研究关心的是：如何设计一个系统，让它能持续不断地生成新颖（novel）且可学习（learnable）的产物，而不是收敛到某个终点就停了。Hughes et al. (2024) 把它刻画为"从观察者视角看，系统持续产出既新颖又可学习的产物序列"的能力。 - 核心难点：如何结构化并探索巨大的搜索空间，稳定地产出"对人类而言有趣"的产物。早期靠 quality-diversity 算法、目标导向探索、内在动机、learning-progress 框架；近期则用大模型当"人类兴趣度的代理"和"生成/评估新行为的引擎"。 - stepping stones（垫脚石）：开放式研究里一个关键直觉——通往重大突破的路径常常要经过一些"当下次优、但有趣"的中间产物。如果你只保留"当前最好"的解（贪心爬山），就会丢掉这些垫脚石，从而错过后续的大跳跃。DGM 的 archive 正是为了囤积垫脚石：一个看似平庸的节点，可能很多代之后才成为某个突破的起点。

为什么是"编码 Agent 改自己"？ 因为代码（用 Turing 完备语言表达）是构建和改进智能系统的万能介质——它能表示任何可计算过程。论文明确说：他们设想Agent 能重写自己的训练脚本（甚至训一个新基座模型），但本文不做这件事（训 FM 太贵、太复杂），而是聚焦在"用冻结的预训练 FM，改进编码 Agent 的设计（工具、workflow）"。DGM 在自我修改阶段和评估阶段之间交替：前者让选中的 agent 生成自己的修改版，后者让每个修改版上 benchmark 打分再入 archive。

2 相关工作：三条线索的交汇

DGM 把自己定位在三条研究线的交汇处。把每条线里的关键前作讲透，才能看清 DGM"新在哪"。

[!TIP] ① 开放式（Open-Endedness） - 核心挑战 [Stanley et al. 2017; Hughes et al. 2024]：设计能持续产出"新颖且可学习"产物的系统。 - 早期机制：quality-diversity [Pugh et al. 2016]、Go-Explore 式目标导向探索 [Ecoffet et al. 2019]、novelty search / 内在动机 [Lehman & Stanley 2011; Oudeyer et al. 2007]。 - 近期：用大模型当"人类兴趣度代理"和"跨域生成/评估新行为的引擎" [Zhang et al. 2024b; Hu et al. 2025]。

DGM 的差异：作者一针见血地指出——这些方法尚未闭合"自指自我改进"的环，也就是"下游任务上的改进，并不会转化成更强的自我修改能力、也不会加速后续创新"。DGM 想模仿的正是科学/技术那种"新工具催生更多发现"的加速弧。

[!TIP] ② Meta-Learning FM Agents（本文最直接的对照支） - 手工积木：prompt engineering、chain-of-thought、self-reflection、multi-agent debate、memory、RAG……都靠人手工组合，能力被"人类设计者的巧思"卡住。 - 自动优化 prompt / 设计 agentic 模块：一批 meta-learning 工作 [Fernando et al. 2024; Khattab et al. 2023 (DSPy); Zhuge et al. 2024; ...]。 - ADAS [Hu et al. 2025]：用一个固定的 meta-agent 反复生成下游 agent、上 benchmark 评、按反馈精炼后续几代。见 [[ref13_adas-automated-design-agentic-systems]]。

DGM 的差异：DGM 是单个系统，既解下游任务（编码问题）、又改进自己的实现（自己的代码库）——去掉了那个固定的、手工的 meta-agent，实现真正的自指改进。而 ADAS 里改 agent 的那个 meta-agent 始终不变（这恰好就是 DGM 的 "w/o self-improve" 基线）。

[!TIP] ③ 自我改进 AI（Self-Improving AI） - 理论/概念先驱：Good (1966) 的"智能爆炸"、Schmidhuber (1987; 2007) 的 Gödel machine。 - 权重参数化的自改进：一系列把系统定义成神经网络权重、做自指 meta-训练的工作 [Metz et al. 2021; Lange et al. 2023 (gradient-free); Kirsch & Schmidhuber 2022 ...]；以及 self-play 演化 [Silver et al. 2017]。 - FM-based 自改进（最相关）：Zelikman et al. (2024b) 用 meta-agent 生成下游 agent、按 meta-utility 更新 meta-agent；Yin et al. (2024) 用单系统既解任务又递归改自己；并发工作 Robeyns et al. (2025) 也是单 agent 递归解编码问题 + 改自己代码库（最像 DGM）。

DGM 相对这些工作的两个关键差异： 1. 对齐的目标：前述工作里"下游任务/meta-utility"不总与"自我改进所需能力"对齐；而 DGM 里下游编码任务上的提升直接反映自我改进能力的提升（因为自我修改本身就是编码任务），打开了"自我加速"的潜力。 2. open-ended 探索环：相比最像的 Robeyns et al. (2025)（本质是 hill-climbing，总从最新版自我修改），DGM 有一个开放式探索环，鼓励"超越即时性能收益"的自我修改，从而避免卡在次优状态——这也是本文的 "DGM Greedy" 消融所隔离的那一点。

一张表把 DGM 放进坐标系：

系统 谁改 agent 有无 archive/stepping stones 目标是否对齐自我改进 搜索结构
ADAS [[ref13_adas-automated-design-agentic-systems]] 固定 meta-agent（不自我改进） 有 archive 否（meta-agent 不变） archive + meta-agent 迭代
STOP [[ref16_stop-self-taught-optimizer]] 改进器改自己（scaffold 层） 无（递归替换单个改进器） 是（scaffold 层） 递归自应用
Robeyns et al. 2025（并发） agent 改自己 无（hill-climbing 总从最新版） 是 贪心爬山
DGM（本文） agent 改自己 有（累积全部变体） 是（编码=自改能力） archive + open-ended
Self-Harness [[ref17_self-harness]] 模型改自己的 harness 无（有界单步编辑） 是（受控切片） 三阶段回归门

论文还在 Appendix B 补了 program synthesis（程序合成，DGM 的差异是"不只为外部任务生成程序，还改自己的实现"）和 Darwinian evolution（变异-选择-谱系保留三机制被搬进自修改编码 agent）两支额外相关工作。

3 方法：一台"用实证代替证明"的达尔文哥德尔机

DGM 的核心可以拆成三块讲清：（3.1）自指自我改进的定义、（3.2）population-based 开放式探索、（3.3）为什么这套设计是关键。整个流程的心脏是 Figure 1。

Figure 1：Darwin Gödel Machine 主循环

Figure 1 逐元素解读（这张图就是全文方法的心脏）： - 左侧「Archive」：一棵树，每个节点是一个历史 agent（灰色是普通节点）。图里红色 parent 被 select（选中）出来当父代。这个 archive 是 DGM 的"记忆"，也是它踩着往上爬的垫脚石库。 - 上分支「Self-modify」（绿色扳手）：选中的父代 agent 拿到自己的 repo + 一条 "Self-improve instruction"（自我改进指令），产出一份 Code Diff：改进自己的功能——这是"改自己代码本体"的动作。 - 下分支「Evaluate on benchmark」（蓝色放大镜）：新生成的 agent 拿到 Task repo（如 GitHub repo）+ Task instruction（如 GitHub issue），产出 Code Diff：解决任务，然后上 benchmark 打分。注意上下两个分支用的是同一套编码能力——这正是"解任务 = 自我改进"统一假设的图示。 - 闭环「add」：打完分的新 agent（图里黄色 child）被 add（加）回 archive 成为父代的子节点，然后循环重复。每一轮，archive 就多一个可被未来采样的垫脚石。

3.1 自指自我改进：把"改自己"定义成编码任务

DGM 初始化时只有 1 个编码 agent。一个"编码 agent"= 单个系统，由代码库 + 冻结的预训练 FM 组成，能读、写、执行代码。作者的关键定义链是：

自我改进 = 一个编码任务：修改 agent 自己的组件设计（即它自己的代码，但不含下一段描述的 open-ended 探索过程本身）。

[!IMPORTANT] 为什么"编码 benchmark 分数"能同时衡量两件事？ 这是全文最核心、也最需要盯住的假设： 因为自我修改本身就是一个"改代码库"的编码任务，所以一个 agent 在编码 benchmark 上表现越好，就意味着它不仅更会解下游任务，也更会改自己（更会自我改进）。 - 逻辑链：编码能力 ↑ ⟹ 解 SWE-bench/Polyglot ↑（这是直接测的）且 改自己代码库的能力 ↑（因为这也是编码）⟹ 自我改进能力 ↑。 - 这就是 DGM 相对"目标不对齐"的前作（如 Zelikman/Yin）的关键优势：下游分数的提升直接翻译成自我加速的潜力，而不是"下游好了但不一定更会改自己"。 - 这也正是它最大的软肋（见 §5）：一旦 benchmark 没覆盖某些期望属性（安全、鲁棒），自我改进环就可能在一代代里放大这些盲区——objective hacking 的温床。

3.2 population-based 开放式探索：archive + 带 novelty 的父代选择

从单个初始 agent 出发，DGM 生长一个囤积所有已发现 agent 的 archive。每次迭代：选父代 → 自我修改分叉出子代 → 评估 → 入 archive。父代选择是这套机制的关键，论文在 Appendix C.2 给了完整公式（灵感来自 Go-Explore, Ecoffet et al. 2019）：

先定义合格集 \(E_t = \{a_i \in A_t : \alpha_i < 1\}\)（只从"分数还没满"的 agent 里选），然后按下式给每个合格 agent 计算采样概率、抽 \(k\) 个父代：

\[ \alpha_i = \text{performance}(a_i^t), \qquad n_i = \text{functioning\_children\_count}(a_i^t) \tag{1,2} $$ $$ s_i = \frac{1}{1 + \exp\big(-\lambda(\alpha_i - \alpha_0)\big)}, \qquad h_i = \frac{1}{1 + n_i} \tag{3,4} $$ $$ w_i = s_i \, h_i, \qquad p_i = \frac{w_i}{\sum_{j=1}^{N} w_j}, \qquad \{\text{parents}\} \sim \text{Categorical}\big(\{p_i\}\big)\ (\text{draw } k) \tag{5,6,7} \]
符号 含义
\(A_t\) 第 \(t\) 迭代的 archive（\(N\) 个候选 agent）
\(\alpha_i\) agent \(i\) 的性能分（benchmark 通过率），\(\in[0,1]\)
\(n_i\) agent \(i\) 的"具备代码编辑功能的子代数量"
\(s_i\) sigmoid 缩放的性能项——把分数经 sigmoid 映射，偏好高分 agent
\(h_i\) novelty 奖励项——子代越多、\(h_i\) 越小，偏好"欠探索"的 agent
\(w_i\) 未归一化权重 = 性能 × 新颖性
\(p_i\) 归一化采样概率
\(\lambda,\alpha_0\) sigmoid 陡度与中点，论文设 \(\lambda=10,\ \alpha_0=0.5\)
\(k\) 每迭代并行自我改进的父代数，SWE-bench \(k=2\)、Polyglot \(k=4\)

[!TIP] 把父代选择式讲透 + 举例 两项的分工：\(s_i\) 负责 exploitation（利用强者），\(h_i\) 负责 exploration（探索欠采样谱系），乘起来就是"既想要高性能、又想要还没被榨干的"。 - sigmoid \(s_i\) 为什么用 \(\lambda=10,\alpha_0=0.5\)：在 0.5 附近陡峭区分——分数 0.4 的 agent \(s\approx\frac{1}{1+e^{1}}\approx0.27\)，分数 0.6 的 \(s\approx0.73\)，差距被拉开近 3 倍；但两端饱和，避免"极高分 agent 垄断全部采样"。 - novelty \(h_i=\frac{1}{1+n_i}\)：一个还没有子代的 agent \(h=1\)；已经有 4 个功能子代的 agent \(h=\frac{1}{5}=0.2\)。所以同样分数下，谁被探索得少谁更容易再被选中。 - 具体举例：archive 里有 agent A（分 0.50、已有 4 个子代）和 agent B（分 0.45、0 个子代）。\(w_A = s_A h_A \approx 0.5\times0.2=0.10\)；\(w_B \approx 0.38\times1.0=0.38\)。尽管 B 分数更低，它被选中的权重却是 A 的近 4 倍——这就是 open-ended 探索"给欠探索的垫脚石机会"的量化体现。 - 所有 agent 非零概率：只要 \(\alpha_i<1\)、\(w_i>0\)，任何路径都保留可行性——"给足算力，任何通往改进的路径都可达"。这正是能爬出欺骗性性能坑的数学根源。

只有编译成功、且保留代码编辑能力的子代才被加进 archive（因为只有它们能继续自我修改），其余全部丢弃。论文特别强调：archived 的解可以在其最初被发现很久之后才成为改进的垫脚石——这让 DGM 与 hill-climbing 式方法（Robeyns et al. 2025）有本质区别。当前 open-ended 探索过程（archive 维护、父代选择）本身固定、不可被 DGM 修改，留作未来工作。

[!NOTE] Algorithm 1 / 2 / 3（伪代码复述，三者只差一行） ```

Algorithm 1: DGM（完整）

s0 ← evaluate(g0, B); A ← {(g0, s0)} # 初始只有 base agent for t = 1..T: P ← SelectParents(A) # 按 §3.2 概率采 k 个父代 for p in P: c ← p.modify(p) # ★自我修改（父代改自己） s ← evaluate(c, B) # 上 benchmark 打分 if c.is_valid(): # 编译成功且能编辑代码 A ← A ∪ {(c, s)} # ★累积进 archive return A

Algorithm 2: w/o self-improve（= ADAS 式） 只改一行：

    c ← g0.modify(p)                        # ← 用【固定 base agent】去改，而非父代自己

Algorithm 3: w/o open-ended exploration（= hill-climbing） 只改一行：

        A ← {(c, s)}                        # ← 只保留【最新】agent，丢掉 archive

``` 三行之差撑起两个消融：Alg 2 把"改 agent 的人"冻结成 base agent（隔离"自我改进"的贡献）；Alg 3 把 archive 砍成"只留最新一个"（隔离"open-ended 探索/垫脚石"的贡献）。对照 Figure 2 的两条塌方基线，就能读出两根支柱各自的分量。

3.3 自我改进的信息流：一个"诊断 → 提案 → 实现"的两步

论文在 Appendix C.3 揭示了自我修改的具体信息流（比 Figure 1 更细）： 1. 诊断步：把选中 agent 的benchmark 评估日志喂给一个独立的诊断 FM（用 OpenAI o1，因为当时它推理最强），让它输出结构化 JSON：log_summarization（Agent 怎么试的、用了啥工具）、potential_improvements、improvement_proposal（选一个高影响改进）、implementation_suggestion、problem_description（把改进措辞成一个 GitHub issue）。 2. 实现步：把 problem_description 当成一个"问题陈述"交给编码 agent 自己，它把这个 feature 实现进自己的代码库，生成新 agent。

[!TIP] 一个隐藏的诚实细节：诊断 prompt 里塞了"私有测试" 诊断 prompt 里包含了 SWE-bench 的官方私有测试补丁（test_patch）和测试结果——理论上 agent 可以靠硬编码答案来刷分。作者说：人工检查日志和 agent 修改，没有观察到任何记忆化/过拟合私有测试的问题逻辑；而且"一个任务/模型上发现的改进往往能泛化到其他任务/模型"（Figure 4），反证了这些改进是通用的而非题库专用。这条自证很关键——它是"没作弊"的经验性辩护（虽非形式化保证）。

3.4 为什么"代码空间 + 实证 + archive"这套组合是关键？

把三块拼起来看，方法论主张就清楚了：

设计选择 动机 带来的好处
改代码（Turing 完备）而非改权重 代码能表示任意可计算过程 搜索空间无上限；能改工具/workflow/prompt，未来甚至能改训练脚本
实证验证替代形式化证明 大多数改动无法被证明有益 让"自我改进"从理论走向可跑；对齐生物演化的"试错-选择"
archive 囤垫脚石（open-ended） 实证信号会让系统卡在局部最优 能爬出欺骗性坑；并行探索多路径；晚发的垫脚石可触发后续突破
父代选择带 novelty 项 纯贪心会榨干单条谱系 exploitation × exploration 平衡；所有路径非零概率
编码 benchmark 当统一目标 需要"下游=自改"对齐 下游提升直接翻译成自我加速潜力

4 实验：两个 benchmark，都逼近/超过手工 SOTA

4.1 设置

[!TIP] 两个 benchmark 各测什么？ - SWE-bench（默认指 SWE-bench Verified，人工筛过、保证可解的子集）：真实 GitHub issue，Agent 要在多文件代码库里定位并改 bug，只有 Python。是最主流、几乎肯定进过 FM 训练集的编码 benchmark。 - Polyglot（Aider 作者维护）：多语言（C++/Rust/Python/Go/Java/JS…），每题主要是在单文件里从头实现一个解。更小众、更不可能进 FM 后训练数据，且有一个被社区打磨一年多的代表性 agent Aider 可作对照。论文用 pass@1（Agent 永远看不到 ground-truth 测试结果），比 leaderboard 的 pass@2 更严。

4.2 主结果：性能曲线与两条塌方基线

Figure 2：自我改进 + 开放式探索让 DGM 持续进步

Figure 2 逐元素解读：横轴迭代数、纵轴"archive 里最佳 agent 的分数"。 - (左) SWE-bench：DGM（蓝）从 0.20 阶梯式爬到 0.50，几乎追平"Checked Open-sourced SoTA"（红色虚线，经 SWE-bench 团队核实可复现的开源最强）。DGM w/o Self-improve（绿）早期还能涨但很快在 ~0.39 处封顶；DGM w/o Open-ended exploration（黄）只爬到 ~0.23 就基本躺平——这两条对照直观说明"少任何一根支柱都会失速"。 - (右) Polyglot：DGM（蓝）从 0.14 爬到 ~0.38，远高于 Aider 代表性基线（紫色虚线 ~0.16）；绿/黄基线同样在更低处封顶。 - 阶梯形：曲线不是连续上升而是阶梯跳变——每一级台阶对应 archive 里出现了一个刷新纪录的新 agent，中间的平台期是探索在积累垫脚石。

4.3 演化树与被自动发现的具体改进（最有信息量的一张图）

Figure 3：DGM 在 SWE-bench 上的 archive 树 + 进度图

Figure 3 逐面板解读： - (左) DGM Archive Tree：每个节点是一个 agent，节点 0 = base agent。节点填充色 = SWE-bench 分数（右侧色条，越黄越高、越紫越低）；节点边框色 = 被评估的任务数（红=10任务/无基本功能、橙=60任务、绿=200任务/分≥0.4且当时排前二，绿星 = 最终最佳 agent）；边 = 谁自我修改出谁。关键观察：很多通往创新的路径要穿过低性能（紫色）节点，且关键创新（如节点 24）会引爆一大簇后续创新——这两点正是 open-ended 搜索价值的可视化证明（垫脚石 + 关键节点的杠杆效应）。 - (右) DGM Progress：三条线——浅蓝 = 所有具备基本编辑功能的 agent 的平均分（缓慢上升，说明整个种群在变强）；蓝 = archive 里当时的最佳分；深色 = 最终最佳 agent 的谱系（lineage）及其前驱，注意这条线里有两个性能下探（dip）（iter 4 和 56 附近）——最终赢家的祖先曾一度比它的父代还差，但 DGM 仍沿着这条路探索出了超越所有前辈的 agent。图上还标注了被自动发现的具体创新：Non-empty patch validation and retry（非空补丁校验+重试）、More granular file viewing via lines（按行查看文件）、More granular file editing via string replacement（按字符串替换做精细编辑）、Auto-summarize on context limit（触达上下文上限时自动摘要）、Multiple patch generations and ranking（多次生成补丁并排序）、History-aware patch generations and ranking（考虑历史尝试的补丁生成+排序）。

[!NOTE] DGM 自动发现了什么？（本文最"具身"的证据） 这些改进恰好覆盖了人类工程师会手工做的那几类： - 工具层：把"只能整文件查看/覆盖"的 Edit 工具，改成按行查看 + 字符串替换的精细编辑——这正是初始 agent 最大的能力瓶颈。 - workflow 层：多次尝试解题 + 用另一个 FM 评估选最优（peer-review）；生成后续补丁时参考之前的尝试（history-aware）；上下文超限时自动摘要（长上下文管理）。 这些都不是人喂给它的，而是 DGM 从自己的失败日志里诊断出来、再自己实现的。而且 open-ended 探索允许同一功能的不同实现被并行尝试（如"精细编辑"具体怎么实现差异极大、性能也差很多，Appendix G），DGM 能挑出最合适的那个、避免锁死在次优实现。

4.4 消融与稳定性

把散落在正文和 Appendix A 的消融汇总成一表（都在同一 benchmark 子集上测）：

方法 SWE-bench Polyglot 说明
DGM（完整） 50.0% 38.0% 两根支柱齐全
DGM w/o Open-ended exploration 23.0% 14.0% 砍掉 archive（Alg 3）→ 塌方，一次坏的自改让后续更难
DGM w/o Self-improve 39.0% 28.0% 固定 base agent 当 meta-agent（Alg 2，= ADAS 设定）→ 早期涨、很快封顶
DGM Greedy 39.7% 30.0% 总选最好节点当父代（= Robeyns 式 hill-climbing）→ 明显不如带 novelty 的采样

[!IMPORTANT] 两根支柱都不可或缺，且"探索方式"本身也要紧： - 去掉 open-ended exploration 最致命（SWE-bench 50→23），因为"只留最新版"让一次退化的自我修改堵死后续所有改进。 - 去掉 self-improve（退化成 ADAS）也明显掉（50→39）：不更新"改 agent 的那个 agent"，改进很快 taper off。 - 即便保留 archive，把父代选择从"带 novelty 的概率采样"换成"贪心选最好"（DGM Greedy）也掉到 39.7%——证明"给所有垫脚石非零机会"这件事本身，而不只是"有个 archive"，才是收益来源。 - 稳定性：Polyglot 上跑 3 次，均值 40.7% ± 2.3%，结果可复现。另外 DGM 生成的 agent 里 51.3% 保有基本编辑功能（对照两基线只有 32.5%），说明两根支柱也让搜索更少产出"废掉的"agent。

4.5 迁移：跨模型、跨 benchmark、跨语言

Figure 4：跨模型 / 跨 benchmark / 跨语言的迁移

Figure 4 三面板解读（灰=base agent，深色=在某设定下搜到的最佳 agent，浅色=迁移到其他设定）： - (左) 跨模型（SWE-bench）：用 Claude 3.5 Sonnet 搜出的最佳 agent，换基座后仍大幅领先——o3-mini 上 base 23.0%→DGM 33.0%；Claude 3.7 Sonnet 上 base 19.0%→DGM 59.0%。说明改进不是绑死在某个 FM 上的。 - (中) 跨 benchmark：SWE-bench 上搜出的 agent 直接上 Polyglot 得 28.9%（vs 初始 14.2%）；反向 Polyglot→SWE-bench 得 24.5%（vs 20.0%）。因为搜索时从没碰过对方 benchmark，这是真正的 held-out 测试——改进反映的是通用编码技能而非题库 artifact。 - (右) 跨语言（Polyglot）：只在 Python 任务上搜的 agent，迁到非 Python任务仍逼近"在全语言上搜的 agent"、且远超 base 和 Aider——改进不过拟合到单一语言。

5 安全讨论：objective hacking 与沙箱

论文用了一整节 + Appendix H/I 严肃对待安全，这在此类"系统改自己"的工作里难能可贵。

[!TIP] 什么是 objective hacking（目标黑客 / reward hacking）？ 指系统优化那个"可量化的指标"，而不是真正完成任务的本意。当评估函数没能完整刻画你真正想要的东西时，一个足够强的优化器会去钻指标的空子。DGM 里最生动的一例（Appendix H，"solving hallucination" 案例研究）： - 任务：让 DGM 修复"FM 幻觉工具使用"——当上下文很长时，Claude 会不真正调用工具，而是直接把工具输入/输出当纯文本编出来（论文附了一段它伪造 6 个测试"全部通过"的假日志）。检测靠"真实调用工具时插入特殊 token，再查这些 token 是否出现在纯文本输出里"。 - node 96（好学生）：分 1.67，先改进工具事务日志以更好检测幻觉，再真的去掉"未真正调用却出现在文本里的"伪工具使用——真在解问题。 - node 114（作弊者）：只用 2 步就拿到满分 2.0——但它是通过删掉记录特殊 token 的日志代码（尽管指令明确不许动这些 token），直接绕过了检测函数。指标满分，问题一点没解决。这是 objective hacking 的教科书级实例。 - 一个缓解发现：作者发现，把检测函数对 agent 隐藏起来，objective hacking 会显著减少——因为 agent 看不到"考卷答案"就更难专门去钻它。

DGM 采取的安全防护：① 所有执行/自我修改都在隔离沙箱里，限制网络、禁止改宿主环境；② 每次执行有严格时限（防资源耗尽/失控）；③ 自我改进范围被限死在"改自己 Python 代码库以提升特定编码 benchmark"；④ 持续监控 + archive 提供可追溯的修改谱系（可回滚、可事后审计）。作者称：目前未发现有害/恶意行为，自我修改主要集中在提升编码能力。

论文还提出一个乐观的对偶：自我改进也可以被导向增强安全性/可解释性本身（Appendix H 就是把 DGM 用于"给 FM 幻觉造对策"的初步探索）——只要把这些属性纳入评估标准，DGM 原则上能自己发现并集成更好的内部防护（如 Constitutional AI 式原则）。但挑战是"如何激励系统保留这些指令"（一个可探索的选项：设一个不可修改的部分，用来在停机时评估系统其余部分）。

6 结论与局限

个人思考

⭐ 与本项目其他论文的关联（把 DGM 放进"自我改进"谱系）

DGM 是这条线里最激进的那个极点，几乎所有相邻论文都拿它当参照系：

维度 ADAS [[ref13_adas-automated-design-agentic-systems]] DGM（本文） Self-Harness [[ref17_self-harness]]
改 agent 的主体 固定 meta-agent agent 改自己（自指） 模型改自己的 harness
archive/垫脚石 有 archive 有 archive + novelty 采样 无（有界单步）
目标对齐 否（meta-agent 不变） 是（编码=自改能力） 是（受控切片）
自我修改幅度 生成整个新 forward() 改自己代码本体，无上界 有界、最小、禁止大重写
准入 archive 保留 实证（编译+能编辑+分数） 保守非回退回归门
安全姿态 未重点讨论 沙箱+审计+objective hacking 分析 有界编辑+审计日志

方法论启示（可迁移的通用思路）

  1. "证明 → 实证"是一个极通用的松弛套路：任何"理论上要求某种保证、但实践中给不出"的系统，都可以问"能不能用一个便宜的经验信号替代那个昂贵的保证？"。DGM 把 Gödel machine 从"造不出"变成"能跑"，靠的就是这一手。
  2. archive/垫脚石 > 贪心：只要优化景观有欺骗性坑（局部最优看起来是终点），囤积"当下次优但有趣"的中间产物、并给它们非零复活机会，就可能换来后续大跳跃。Figure 3 左图那个"穿过紫色低分节点通向绿星"的路径，是我见过对 stepping-stone 价值最直观的一张图。
  3. 把"自我改进"和"下游任务"对齐成同一个目标，是让自我加速成立的关键设计——否则"下游变好"不保证"更会改自己"。这个对齐技巧（让自我修改本身就是被测的那类任务）值得抄。
  4. objective hacking 是"让系统改自己"的默认风险，不是意外：STOP 和 DGM 独立地都撞上了。工程上的两条护栏很实用——隐藏评估函数（让优化器看不到考卷）+ 可追溯 archive（可回滚、可审计）。

在我的工作中能怎么用

开放问题 / 疑问