paper_type: 实证与评价, Benchmark 与测量方法 type_confidence: 高 reading_depth: 标准精读 title: "Assessing the Creativity of Large Language Models: Testing, Limits, and New Frontiers" authors: Samuel Schapiro, Alexi Gladstone, Jonah Black, Heng Ji year: 2026 source: arXiv:2605.13450v1, 2026-05-14 preprint pdf: 30_assessing_creativity.pdf tags: [论文精读, 创造力评估, 构念效度, DAT, DRAT, 科学构想, 指标验证] related: [[28_automated_creativity_eval]], [[21_narrative_flattening]], [[27_calibrated_surprise]], [[19_storyalign]], [[44_evolvr]], [[25_chinese_literature_homogeneity]]
创造力测试真正测到了创造力，还是只测到了模型更强？
一句话答案：这篇论文用 54 个指令微调模型检验六种自动创造力测试能否预测创意写作、发散思维和科学构想，并要求这种预测在扣除通用能力后仍成立；结果显示没有通吃三类任务的测试，PACE 的写作相关性大多可由通用能力解释，而新提出的 DRAT 在 21 个模型上能增量预测科学构想，但小样本、同一基准上的设计与验证以及词嵌入捷径，使它还不是“机器创造力”的最终量尺。
为什么“测试分高”还不能叫创造力
问题诊断。DAT、CDAT、PACE 和 RAT 原本来自人类心理测量或词联想研究，因为能自动打分，近年被直接用于比较 LLM 创造力。但一个模型在词距离任务上得分高，不等于它能写出更好的故事或提出更好的科学构想；如果测试只是随模型通用能力一起升高，它测到的可能仍是规模和能力，而不是独立的创造力构念。（作者主张，§1–2.1）
论文因此把问题改写成两层：测试分数是否与下游创造性成就相关，以及扣除通用能力已经解释的部分后，这个相关是否仍然存在。下文先说明作者怎样建立这套判据，再看现有测试和 DRAT 的结果，最后判断这些相关性离真正的创造力测量还有多远。
先给结论
- 实验方法。作者通过 OpenRouter 测试 10 家提供商的 54 个指令微调模型，并把 DAT、CDAT、CDAT-N、CDAT-A、PACE、RAT 与六个下游基准配对；各基准可用模型数从 10 到 40 不等。（论文报告，§2–3，表 1）
- 评价方法。Validity 是测试与下游基准的原始 Pearson 相关；Specificity 是先用 Arena Overall 和 MMLU-Pro 解释下游分数，再计算测试与残差的半偏相关。（论文报告，§2.4）
- 主要结果。DAT 最能预测创意写作，CDAT 最能预测发散思维；现有测试在科学构想上均未取得稳定显著结果。PACE 对写作的高原始相关在控制通用能力后基本消失。（论文报告，§3，表 1）
- 新测试结果。DRAT 在 LiveIdeaBench 的 21 个模型上取得 validity r=.57、specificity r|g=.52；但它不显著预测可行性和流畅性，也尚未在独立的模型集或科学构想基准上复验。（论文报告，§4；阅读者分析）
- 证据边界。这篇论文最强的贡献是构念效度框架和“先扣除通用能力”的验收原则，不是证明某个词联想分数已经等同于现实创造力。（阅读者分析）
实验怎样把“创造力测试”接到下游成就
测试与采样。DAT 要求生成 10 个尽量不同的名词；CDAT 在此基础上要求名词与 50 个 cue 相关，并用随机名词基线和 Benjamini–Hochberg 校正过滤不合格响应；PACE 对 50 个种子各生成三条 20 词联想链；RAT 要求找出连接三个刺激词的共同词。DAT/CDAT 在 temperature 1.0、1.5、2.0 下各运行 40 次，PACE 使用 temperature 0。词距离分别用 GloVe、FastText 和 Sentence-BERT 计算，以降低单一 embedding 的偶然性。（论文报告，§2.2、§3.1）
下游构念。创意写作使用 Arena CW、EQ-Bench CW 和 Mazur CW；发散思维使用 Hivemind 与 NoveltyBench；科学构想使用 LiveIdeaBench。作者另用 Arena Overall 与 MMLU-Pro 组成通用能力控制栈。可用样本并不统一：三个写作基准分别覆盖 40、27、18 个模型，Hivemind 21 个、NoveltyBench 10 个、LiveIdeaBench 21 个。（论文报告，§2.3，表 1）
两种相关。对测试分数 X 与基准 Y，validity 直接计算 r(X,Y)；specificity 则先用两个通用能力指标预测 Y，再计算 X 与残差的半偏相关。这样，一个测试即使能给强模型排出类似名次，只要它不能解释通用能力之外的差异，就不应被称为构念特异的创造力测试。（论文报告，§2.4）
作者还证明 validity 与 specificity 受基准的能力负载共同约束：当基准几乎已被通用能力解释时，测试几乎没有剩余 specificity 空间。Arena CW 与 Arena Overall 的相关高达 .98，所以即使某测试与写作榜单高度相关，也很难证明它测到了独立于通用能力的写作创造力。（论文报告，§2.5）
现有测试分别能预测什么
创意写作。DAT 对 Arena CW、EQ-Bench CW、Mazur CW 的 validity 分别为 .51、.71、.66；控制能力后的 specificity 为 .05、.41、.49。后两项仍显著，因此作者把 DAT 视为写作构念中表现最好的现有测试。PACE 的 validity 更高，约为 .79、.73、.75，但 specificity 只有 .11、.21、.14，均不显著；它更像通用能力代理，而不是写作创造力的独立信号。（论文报告，§3.2，表 1）
发散思维。CDAT 对 Hivemind 的 validity/specificity 为 .25/.10，对只有 10 个模型的 NoveltyBench 为 .63/.60。作者选择 CDAT，是因为它在两个发散基准上都保持正的 specificity；但 NoveltyBench 的 n=10 使精确相关极不稳定。CDAT 的 appropriateness 分量 CDAT-A 在 NoveltyBench 上反而为负（validity -.63，specificity -.40），说明“与 cue 贴合”本身并不等于发散能力。（论文报告，§3.3，表 1；阅读者分析）
科学构想。六种现有测试的总体结果都没有在 LiveIdeaBench 上同时给出可靠 validity 与 specificity：例如 DAT 为 .22/.28，CDAT 为 .02/.34，PACE 为 .32/.30。这个失败不是说这些测试与科学创造完全无关，而是说在 21 个模型的这组数据上，没有足够证据把它们当作稳定预测器。（论文报告，§3.4，图 5）
DRAT 怎样把发散和收敛放进同一任务
测试设计。DRAT 给模型 k 个彼此遥远的锚词，要求生成 10 个互不相似、又能隐喻性关联这些锚词的名词。默认 k=4；每个候选词与“最近锚词”的最大余弦相似度是 utility，超过随机名词 utility 的第 90 百分位才进入 useful set。若至少 3 个词通过，得分是这些词的平均两两嵌入距离，否则记 0。（论文报告，§4.2，图 6–8）
这里有一个值得保留的实现细节：提示词说每个词应能应用于“所有锚词”，评分却取与“至少一个锚词”最相近的 max；论文脚注解释，强制对所有锚词相关会压缩可用词表。也就是说，实际操作化比自然语言定义更宽松，DRAT 测到的是“跨锚词集合仍保有足够相关性和多样性”，不是严格的共同远程联想。（论文报告，§4.2；阅读者分析）
科学构想结果。在 21 个模型上，DRAT 对 LiveIdeaBench 总分的 validity 为 .57（p≈.008），specificity 为 .52（p≈.02）。分项中，Flexibility 为 .56/.52，Clarity 为 .71/.61；Originality 的 validity .58 显著，但 specificity .42 不显著；Feasibility .23 和 Fluency .30 均不显著。因此它主要预测跨学科跨度和表达清晰度，并没有解决“想法能否落地”的测量问题。（论文报告，§4.4，图 9）
联合回归。DAT 与 RAT 联合预测科学构想只有 R²=.011；加入 DRAT 后升到 .293，增量 .28，F(1,13)=5.19，p=.040。反过来，在 DRAT 之上加入 DAT 与 RAT 只增加 .04，p=.70。这表明 DRAT 提供的线性预测信息不能由这两个分数简单相加复现，但不能进一步证明“同时进行发散与收敛”是认知上的必要因果机制。（论文报告，§4.4；阅读者分析）
设计消融。科学术语锚词从 k=2 增到 4 时，validity 从 .18→.41→.57，specificity 从 .09→.36→.50，只有 k=4 两者都显著。k=4 的 ConceptNet 随机词只有 .24/.15。结果说明这组科学术语和四锚设置与 LiveIdeaBench 更对齐，也提醒我们：优势可能部分来自领域词汇匹配，而不只是通用创造力机制。（论文报告，§4.5，图 10；阅读者分析）
“新模型发散能力更差”应怎样理解
Figure 1 把每个模型按公开发布日期绘图，先在模型池内把各基准 z-score，再对同一构念取均值并拟合普通线性趋势。创意写作和科学构想分别为 +1.22、+1.00 z/年，发散思维为 -0.47 z/年。（论文报告，§1，图 1）
这是一组不同厂商、不同家族模型的横截面发布时间回归，不是同一模型能力的纵向追踪，也没有控制供应商组成、后训练、采样策略或基准覆盖变化。它支持“这批后发布模型的发散分数平均更低”，不足以证明时间或规模导致发散能力下降，更不能单独推出对齐训练压扁创造力。（阅读者分析）
哪些限制会改变结论强度
论文报告的限制。研究只覆盖自动评分测试，不涉及 AUT 或 Torrance 等主观评分测试；多个基准 n<25，相关应谨慎解释；模型全部是 instruction-tuned，不能推广到 base model；DRAT 不能可靠预测可行性；极简测试也不可能覆盖开放世界、长周期创造活动的全部方差。（论文报告，§5–6）
验证循环。DRAT 是在现有测试无法预测 LiveIdeaBench 后提出，又用同一 LiveIdeaBench 报告核心成功结果。论文没有独立的科学构想基准、留出模型集或后续预注册复验，因此存在按目标基准调设计的风险。科学术语锚词与科学基准的领域对齐进一步放大了这种可能。（阅读者分析）
统计与样本依赖。主结果包含许多测试×基准×embedding×温度比较，但正文只明确为 CDAT 过滤步骤报告 BH 校正，没有为主要相关矩阵说明多重比较校正。模型之间还共享家族、训练数据和后训练谱系，把 54 个模型当作完全独立观测可能高估有效样本量。（阅读者分析）
基准不是现实成就。Arena CW 几乎被通用能力解释，其余写作、发散和科学基准也只是自动或评委型代理，并非出版作品、专家采纳或真实科研影响。论文验证的是“测试能否预测这些基准”，不是直接验证现实创造性成就。（阅读者分析）
原文定位（附录）
- 研究动机与时间趋势：§1，图 1，PDF pp.1–3。
- 测试、基准与 validity/specificity：§2.2–2.5，PDF pp.5–10。
- 54 模型实验协议与现有测试结果：§3，表 1，图 4–5，PDF pp.10–13。
- DRAT 定义与评分：§4.1–4.3，图 6–8，PDF pp.13–16。
- DRAT 结果、联合回归与消融：§4.4–4.5，图 9–10，PDF pp.16–18。
- 讨论与局限：§5–6，PDF pp.18–20。
读完后的判断
这篇论文最重要的不是又发明了一个创造力分数，而是给评估器建立了一条可复用的验收规则：先证明它预测目标成就，再证明这种预测不是通用能力的影子。 对任何写作质量判别器、奖励模型或自动 critic，都应该做同样的增量效度检验，并加入简单算法能否刷分的红队测试。
对 DRAT 本身的判断要更克制。它在一个小型科学构想基准上给出了有希望的增量信号，尤其关联跨学科跨度和清晰度；但没有 held-out 复验、对可行性无效、评分与提示定义不完全一致，也可能利用科学词表与目标基准的领域重合。现阶段更适合把 DRAT 当作待复验的诊断工具，而不是把它直接优化成训练奖励，更不能把它称为机器创造力的完整度量。