paper_type: 实证与评价, Benchmark 与数据集, 方法与系统 type_confidence: 高 reading_depth: 标准精读 title: "Spoiler Alert: Narrative Forecasting as a Metric for Tension in LLM Storytelling" authors: Peiqi Sui, Yutong Zhu, Tianyi Cheng, Peter West, Richard Jean So, Hoyt Long, Ari Holtzman year: 2026 source: arXiv:2604.09854v1; preprint under review pdf: 17_spoiler_alert.pdf tags: [论文精读, 叙事张力, 预测式评价, 100-Endings, 创意写作评测, 结构化生成] related: [[04_codified_foreshadowing_payoff]], [[19_storyalign]], [[20_writingbench]], [[21_narrative_flattening]]

100-Endings：用“结局还能否被猜中”追踪叙事张力

一句话答案：论文在故事 10%–99% 的句子位置各采样 100 个结局预测，用预测与真实后文不匹配的比例绘制张力曲线；该指标把 261 篇《纽约客》小说排在 319 篇头部 LLM 零样本故事之前，并显示专业小说后段 no-rate 约为 LLM 的 2.8 倍。这个结果揭示了 EQ‑Bench 的结构盲区，但 100-Endings 仍依赖 Qwen 生成与判断、没有真实读者张力标注，而且“不可预测”只是张力的必要非充分条件。

核心问题：评委给高分时，故事真的让读者悬着吗

问题入口。EQ‑Bench 用 Claude Sonnet 4 按 22 项 rubric 评价创意写作，头部 LLM 故事得分约 81–84，高于《纽约客》专业小说的约 78.6–78.7。作者认为这不应直接解释为单轮 LLM 已超过职业作者，而可能说明 rubric 更奖励流畅、完整和遵从，却没有逐步检查故事是否持续保留未决可能性。（论文报告，§1、§3.2、Appendix B，表 1、表 4）

论文因此把评价对象从“读完整篇后给一个总体印象”改成“在阅读过程的每个位置预测结局”。如果真实走向很早就能被稳定猜中，故事已经关闭了可能性；如果多种结局仍合理存在，信息克制与延迟解决至少还在发挥作用。（作者主张，§2.1、§3.1）

先给结论

测量方法。Qwen3-32B 在温度 1.2 下从每个故事前缀生成 100 个结局，Qwen3-8B 在温度 0 下把每个预测与完整真实后文比较；不匹配比例 no-rate 越高，结局越难预测。（论文报告，§3.1、图 2）
语料结果。平均 no-rate 为《纽约客》0.765、Tell Me a Story 0.693、WritingPrompts 人类故事 0.671、StoryStar 0.656、Top-10 LLM 0.630，按作者预设的专业—业余—LLM 品质层级单调下降。（论文报告，§3.2、Appendix C.6，表 6）
后段差异。80% 以后 no-rate 为《纽约客》0.607、LLM 0.215，前者约为后者 2.82 倍；0.215 是 0.607 的约 35%，并非旧笔记所写“不到三分之一”。（论文报告，§3.2、表 1；阅读者计算）
生成干预。三步 pipeline 为三种前沿模型都提高四项 tension proxy，但只有 Sonnet 4.6 的 EQ‑Bench 同时从 82.04 升至 85.03；Opus 4.6 与 GPT‑5.2 的 rubric 分别下降 1.06、2.56 分。（论文报告，§5、表 2）
证据边界。论文没有收集读者逐段张力曲线来验证 100-Endings，也没有系统消融 warmup、参考故事和厚计划；因此目前验证的是代理指标区分语料、并对自身引导的 pipeline 有响应。（阅读者分析）

实验方法：100-Endings 到底怎样计算

位置采样。故事按句子切分，评估覆盖文本进度 10%–99%；少于 10 词的句子与下一句合并。太早的位置被排除，因为上下文不足以做有意义预测。（论文报告，§3.1、脚注 1）

结局生成。在位置 \(i\)，Qwen3-32B 只读句子 \(1\ldots i\)，跳过中间发展，独立生成 100 个可能结局。这里测的不是下一句 surprise，而是从当前前缀能否预见最终叙事方向。（论文报告，§3.1、Appendix C.1–C.3）

匹配判断。Qwen3-8B 一次读取 100 个候选，并将每个与句子 \(i+1\ldots N\) 的完整真实 continuation 比较；只有情节、事件或行动方向重合才判 match，模糊主题相似不算。于是

\[ \operatorname{no\text{-}rate}(i)=\frac{1}{100}\sum_{j=1}^{100}\mathbf 1[\hat e_j\text{ 不匹配真实后文}]\,. \]

故事的主指标是跨位置平均 no-rate，再跨语料中的故事平均。（论文报告，§3.1，公式 1–2）

曲线指标。Late NR 只平均故事 80% 以后的位置；Retain 计算局部峰值之后 10 个位置内最低点还保留峰值的多少；inflection rate 先把每条曲线横纵轴各缩放到单位区间，再统计平滑曲线中夹角不超过 30°、60°、120° 的方向反转比例。（论文报告，§3.1、图 3、公式 3）

这些指标分别近似“整体难猜”“结尾仍难猜”“峰值是否马上泄掉”和“预期是否频繁翻转”。它们描述的是预测曲线形状，不应直接改名为读者情绪强度。（阅读者分析）

比较了哪些故事，长度怎样控制

100-Endings 语料。作者使用 261 篇 1945–2019 年《纽约客》短篇、随机 100 篇 Tell Me a Story、随机 100 篇 WritingPrompts 人类故事、100 篇 StoryStar，以及 Top-10 EQ‑Bench 模型对 32 个标准提示生成且长度合格的 319 篇故事；统一限制在 500–5,000 词。（论文报告，Appendix A、表 3）

EQ‑Bench 语料。rubric 易偏爱长文本，因此人类语料只取 2,000–3,000 词：《纽约客》53 篇、Tell Me a Story 41 篇、StoryStar 31 篇；WritingPrompts 因全部短于 1,800 词被排除。GPT‑5.2 同长度有 23 篇，另报告所有长度的 319 篇 Top-10 LLM。（论文报告，Appendix B、表 4）

仍存在的语料混杂。专业、业余和 LLM 组来自不同年代、题材、提示与筛选流程，《纽约客》还有强编辑选择；这些正是现实品质层级的一部分，却也意味着 no-rate 差异不能归因于“人类作者身份”单一因素。（阅读者分析）

结果说明 rubric 与位置级预测在看不同东西

rubric 排序。Claude Sonnet 4 的 EQ‑Bench overall 中，GPT‑5.2 同长度为 84.28，Top-10 LLM 全长度为 81.88，《纽约客》为约 78.6，Tell Me a Story 60.89，StoryStar 45.81。即使只平均 8 个 tension-adjacent rubric，GPT‑5.2 83.86、Top-10 80.80，仍高于《纽约客》78.40。（论文报告，Appendix B、表 4）

100-Endings 排序。Mean NR 反而是《纽约客》0.765 最高，三个业余组 0.656–0.693 居中，Top-10 LLM 0.630 最低。Late NR 与 Retain 的差距更大：《纽约客》0.607、51.7%，LLM 0.215、23.3%；但个别子指标不完全按品质层级单调，例如 StoryStar 的 Late NR 0.375 高于另外两个业余组。（论文报告，Appendix C.6、表 6；阅读者分析）

最稳妥的解释。两套方法确实抓取不同信号：完整文本 rubric 偏总体呈现，位置级预测偏信息释放与结局开放性。论文有力证明 EQ‑Bench 高分不能代表持续张力，却还没有证明 no-rate 与人类“紧张、期待、沉浸”的强度一一对应。（阅读者分析）

指标可靠性与效度不是同一个问题

重复稳定性。作者对相同 32 个 Sonnet 4.6 vanilla 和 pipeline 故事独立运行 4 次全量 100-Endings；Mean NR 与 Late NR 的跨次标准差都不超过 0.001，pipeline 的提升每次都出现。随机采样噪声很小，说明计算过程可重复。（论文报告，Appendix C.7、表 7）

长度检查。261 篇《纽约客》按词数分桶的 Mean NR 为 0.696–0.798，没有随长度单调上升，缓解了“剩余文本越长就机械地越难匹配”的担忧；但这只在一个专业语料内部检查，不能排除不同题材或结局类型的影响。（论文报告，Appendix E、表 9；阅读者分析）

构念效度。作者用“专业语料应高于业余与 LLM”的已知组排序作为验证，并让生成器、评委分别由 Qwen3-32B 和 Qwen3-8B 承担。这减少同一模型自评，却仍没有与真实读者逐段 suspense/tension 标注、重测信度或替代预测模型比较。（论文报告，§6.2、Appendix A；阅读者分析）

必要非充分。难以预测也可能来自逻辑混乱、随机转折或结局与前文脱节。作者明确承认 unpredictability 是 tension 的必要而非充分组成，100-Endings 应与一致性、投入感、stakes 和通用写作评价联合使用。（论文报告，§6.2）

结构化生成 pipeline 做了什么

Step 0：参考预热。Claude Sonnet 在温度 0.7 下读取一篇完整《纽约客》故事，或只根据经典短篇标题调用参数记忆，抽取 7 个 scene-level beats；每个 beat 标注具体动作、叙事技巧和令人难忘的原因。（论文报告，§4、Appendix D.4.1）

Step 1：厚计划。模型把参考 beat sheet 适配到目标 idea，为各 beat 指定 narrative function、揭示或隐瞒的信息、tension mechanism 和 stakes 如何升级。结构约束被放在中间层，正文仍保留句法和风格选择空间。（论文报告，§4）

Step 2：正文。同一共享上下文中，模型依据 idea 和 to-do list 一次生成最终故事；所有 API 调用禁用 reasoning，温度 0.7，每次最多 4,000 tokens。无 warmup 时 beat 从目标 idea 直接生成，两层规划都去掉时退化为 single-shot vanilla。（论文报告，§4、Appendix D.1–D.3）

pipeline 结果不能只引用榜首分数

Sonnet 4.6。Mean NR 从 0.606 升到 0.747，Late NR 从 0.139 到 0.339，Retain 从 16.7% 到 35.5%，IR60 从 0.077 到 0.117；EQ‑Bench 也从 82.04 升到 85.03，论文称其为榜首。（论文报告，§5、表 2）

Opus 与 GPT‑5.2。Opus 的 Mean/Late NR 从 0.611/0.185 升到 0.697/0.296，GPT‑5.2 从 0.694/0.329 升到 0.740/0.443；但 EQ‑Bench 分别从 82.88 降到 81.82、83.80 降到 81.24。pipeline 稳定改善自定义 tension proxies，却不保证通用 rubric 同步提高。（论文报告，§5、表 2；阅读者分析）

没有隔离的因素。full pipeline 比 vanilla 多出参考故事、两步规划和额外计算，论文尚未报告系统消融；结论部分把逐阶段消融列为未来工作。因此不能判断关键是参考作品、七 beat 形式、信息克制字段、“厚度”，还是更多调用本身。（论文报告，§7；阅读者分析）

内部口径冲突。表 2 报告 Sonnet 4.6 为 0.606→0.747，§6.2 的 “Gap to Professional Fiction” 却写 0.577→0.702，两处都用来说明约填平一半差距但没有解释配置差异。复用时应以表 2 的明确模型×32 prompts 口径为主，并保留该冲突。（论文报告，表 2、§6.2；阅读者分析）

局限与适用边界

计算成本。对每个句子位置生成 100 个结局，再把 100 个候选与真实后文一起交给评委，成本随故事句数快速增长；论文给出并行线程和 token 上限，却没有总 token、延迟或美元成本。它更适合离线研究与抽样质检，不适合低延迟在线评分。（论文报告，§3.1、Appendix C–D；阅读者分析）

结局类型。开放、循环、氛围型或故意反高潮的故事未必有单一可匹配走向；judge 又把与“完整真实后文”有事件重合视为命中，可能把中间情节可预测性与最终结局可预测性混在一起。（阅读者分析）

优化循环。pipeline 以 100-Endings 为 north star，再用同一指标评价，可能学会制造 Qwen 难预测的走向而非真实读者张力。专业语料排序提供了外部参照，但仍需要读者实验验证这种提升是否转化为 suspense、curiosity 或 surprise。（阅读者分析）

原文定位（附录）

EQ‑Bench 反差、研究问题与贡献：Abstract、§1，PDF pp.1–2。
张力理论与相关评价：§2，PDF pp.2–3。
100-Endings 程序、公式和曲线统计：§3.1、图 2–3，PDF pp.3–5。
语料排序与 EQ‑Bench 对照：§3.2、表 1，PDF p.6。
三步生成 pipeline：§4、图 1，PDF p.7。
三模型 pipeline 结果：§5、表 2、图 4，PDF pp.7–8。
指标边界、口径冲突与未来消融：§6.2–§7，PDF pp.9–10。
五组语料和长度控制：Appendix A–B、表 3–4，PDF pp.15–17。
完整指标结果与四次重复：Appendix C.6–C.7、表 6–7，PDF p.22。
pipeline 超参数和 prompts：Appendix D，PDF pp.22–25。
长度分桶检查：Appendix E、表 9，PDF p.25。

读完后的判断

这篇论文最强的贡献是改变评价动作：不再直接问模型“故事紧张吗”，而是让它在阅读过程中不断下注结局，再观察真实后文何时变得可预测。跨语料排序、后段曲线和重复稳定性共同说明该指标确实捕捉到 EQ‑Bench 缺失的一类结构信号；对“它就是人类张力体验”则只能持中等偏低信心，因为缺少读者标注与跨预测模型验证。

对当前项目最值得采用的是曲线思维：Mean NR 之外必须看 Late、Retention 和反转位置，并与一致性和可理解性联合使用。生成侧的“每个 beat 明确写出要揭示与克制的信息”也值得迁移，但应先做等调用预算消融和真实读者实验。否则可能只是让故事更难被 Qwen 猜中，而不是更值得人读下去。