paper_type: "综述与文献回顾" type_confidence: 高 reading_depth: 标准精读 title: "What Makes a Good Story and How Can We Measure It? A Comprehensive Survey of Story Evaluation" authors: "Dingyi Yang, Qin Jin" year: 2024 source: "arXiv:2408.14622v1（2024-08-26，预印本）" pdf: "23_story_eval_survey.pdf"

故事评价地图：我们在测文本、读者，还是任务完成

一句话结论：这篇综述把故事生成任务、人工质量维度、九个评价 benchmark 和传统/LLM/多模态指标组织成一张实用地图，并指出 interestingness、长篇、多模态、个性化和人机协作仍缺少可靠测量；但论文没有报告检索数据库、时间窗、query、纳排流程或文献总数，因此它是覆盖广的 narrative survey，不是可复核的系统综述，也不能证明某类指标在整个领域中确定最优。

核心问题与论证路线

故事评价困难不只因为故事开放：同一文本还可能同时被问“是否连贯”“人物是否可信”“是否有趣”“是否符合 prompt”“是否适合这个读者”。如果这些构念不先分开，自动分数高低就没有稳定含义。论文因此追问：故事生成有哪些任务，什么叫好故事，现有 benchmark 和指标分别测到哪一层，未来还缺什么。

作者先把任务按 text-to-text、visual-to-text、text-to-visual 划分，再整理人工维度和评价 benchmark；随后按实现机制、reference 依赖和输出格式给自动指标分类，最后比较有限 benchmark 上的结果并讨论人机协作。它提供的是概念与工具地图，而不是 meta-analysis 或统一 leaderboard。（论文报告，§1–§9，PDF pp.1–23；阅读者分析）

TL;DR

• 评价对象。 任务分 text-to-text、visual-to-text、text-to-visual；人工维度从 relevance/fluency/coherence 延伸到 character development、interestingness、empathy、surprise，以及条件性的 style、controllability、toxicity 和 visual quality。（论文报告，§2–§3、Table 3，PDF pp.2–8）
• 资源现状。 Table 4 列九个命名 benchmark，规模从 COHESENTIA 500 stories 到 StoryER-Rank 63,929 stories；格式、是否要求 reasoning、总体/单维标准和维度各不相同，不能直接拼成一个榜。（论文报告，Table 4，PDF p.8）
• 指标结论。 BLEU/ROUGE 等词面重合与人评通常低相关；trained evaluators 和 LLM judge 更有希望，但 LLM 存在 format、position、knowledge、likelihood bias，商业版本还有成本与不可复现问题。（论文报告，§5–§7，PDF pp.12–21）
• 综述边界。 没有系统检索、筛选计数、纳排标准或质量评价；Figures 4–5 也不给逐指标精确数表，因此适合用来找类别和缺口，不适合引用为穷尽性证据或精确排名。（阅读者分析）

1. 综述实际覆盖了什么

任务范围。 Text-to-text 包含 story completion 以及受 title、prompt、outline、character 等控制的生成；visual-to-text 包含 image paragraph captioning、visual storytelling、video storytelling；text-to-visual 包含 story visualization、连续故事可视化、illustration/retrieval。跨模态任务除故事质量外还要测 text–visual relevance、visual quality 和跨场景 consistency。（论文报告，§2、Table 1，PDF pp.2–6）

覆盖方式。 论文自称 comprehensive survey，却没有独立 review protocol：未报告数据库、检索日期、检索式、候选/去重/筛选/纳入数量、纳排标准、PRISMA 流程、质量评价或偏倚审计，也没有给纳入论文总数。（论文报告，PDF pp.1–35；阅读者分析）

因此，“comprehensive”只能理解为主题维度较广，不能理解为可重复、穷尽或系统地覆盖某个时间窗。论文列出的共识是作者对所引文献的叙述性综合，不是带统一效应量的证据合并。（阅读者分析）

2. “好故事”被拆成哪些维度

基础维度。 Table 3 汇总 relevance、diversity、fluency、grammaticality、non-redundancy、commonsense、informativeness/complexity。Coherence 又包含 cohesion、consistency、implicit relevance、completeness、ending、clarity。（论文报告，§3.1、Table 3，PDF pp.6–7）

高层体验。 Character development、interestingness/engagement、empathy、surprise 更依赖个人偏好；style、controllable accuracy、toxicity、naturalness/human-like、non-hallucination、visual quality 只在特定任务成立。作者据此认为面向推荐或搜索的故事评价需要 personalized evaluation。（论文报告，§3.1，PDF pp.6–7；作者主张，p.6）

这张表是概念地图，不是经 factor analysis 证明相互独立的量表。人物发展会影响情节连贯，surprise 也可能与 ending、interestingness 交互；把各维简单平均会隐含未经验证的权重。（阅读者分析）

3. 九个 benchmark 为什么不能视作同一种金标

（论文报告，Table 4，PDF p.8）

资源差异。 有的评价模型生成文本，有的评价人写故事；有的给总体比较，有的逐维 Likert；有的要求理由，有的没有；COHESENTIA 还把 coherence 分成 global 和 sentence-level local。这些差异意味着 metric 在一个 benchmark 上有效，不能无条件迁移到另一个构念。（论文报告，§3.2，PDF p.8；阅读者分析）

OpenMEVA 的 Criteria=Overall 与列出的 REL/FLU/COH/COMM 不能简单读成与 HANNA 相同的逐维设计；数据表只是资源索引，不是统一标注协议。（阅读者分析）

4. 自动指标 taxonomy 有三条正交轴

实现机制。 传统文本指标分 lexical、embedding、probability、trained；LLM-based 指标也可按 embedding、probability、generative/prompt-based、trained 区分。多模态指标另测跨模态 relevance、视觉输出和多模态故事。（论文报告，§4、Figs.2–3，PDF pp.8–11）

Reference 依赖。 指标还可分 reference-based、reference-free、hybrid。开放故事通常没有唯一答案，因此作者认为 reference-free 可能更合适；但 reference-based 仍可在长故事中做 plot-level matching，不能简化成“reference-free 总是更优”。（论文报告，§4.2、§7，PDF pp.9–11、20；作者主张）

输出形式。 Evaluator 可以输出 score、Likert、boolean、pairwise comparison、ranking 或 error analysis。输出形式改变的是决策问题：排序一致不等于绝对分数校准，生成理由也不自动证明理由忠实。（论文报告，§4.2，PDF pp.10–11；阅读者分析）

5. 传统指标、trained evaluator 与 LLM judge 各自测到什么

词面指标。 BLEU、ROUGE、METEOR、CIDEr 衡量 token/n-gram 重合，难以覆盖开放故事的语义和多种有效写法；综述称 BLEU/ROUGE 与故事人评相关低。（论文报告，§5、§7，PDF pp.12、19–20）

Embedding 与 trained evaluator。 BERTScore、MoverScore 等能比较语义；论文提到某项故事评价中 MoverScore 略优于 BERTScore。UniEval、COMET22 等在人工 benchmark 上训练的 evaluator 在所汇总实验中更贴近人评，但 Figure 4 来自“收集结果 + 作者补充实验”，不是所有模型、版本、prompt 和训练数据统一控制的 leaderboard。（论文报告，§5、§7.1、Fig.4，PDF pp.13、19–20；阅读者分析）

LLM judge。 Prompt-based evaluator 可以直接给分、比较、排名和解释；作者总结，清晰 instruction、task decomposition、多次集成、reasoning、debate 和 in-context examples 常能改善效果或鲁棒性。（论文报告，§6，PDF pp.17–19）

同一节也列出四种偏差：format bias（依赖提示格式）、position bias（偏好先出现候选）、knowledge bias（偏好熟悉或自己生成的内容）、likelihood bias（概率受表面词序/句式影响）。商业 LLM 成本高且版本难复现。由此可接受的结论是“LLM 是当前有力 proxy”，而不是“LLM 已替代人类”。（论文报告，§6.5、§7.2，PDF pp.19–21；阅读者分析）

6. Figures 4–5 的比较应怎样引用

Figure 4 在 OpenMEVA 上画各指标与人类评级的 Pearson correlation，Figure 5 在 Xie 数据上画 relevance、fluency、coherence、commonsense、interestingness 的 Kendall correlation。两图都没有逐柱精确数表，不能从图像目测写成小数 leaderboard。（论文报告，Figs.4–5，PDF pp.20–21）

方向性上，BLEU/ROUGE 较低；UniEval、COMET22 等 trained evaluator 较强；reference-free ChatGPT 类方法表现高但昂贵且不可复现；Figure 5 中 UniEval/Auto-J 可与或优于 ChatGPT。作者称 LLM-based method 是当前最好的 story-human-evaluation proxy，但 interestingness 和 long-story coherence 仍难。（作者主张，§7，PDF pp.19–21）

由于指标并非全部在同一设置重跑、综述又没有 meta-analysis，不能把方向性总结升级为“某个 evaluator 在整个故事评价领域最强”。（阅读者分析）

7. 人类评价为什么既是目标又不稳定

作者归纳。 Human evaluation 仍是 gold standard，却昂贵、耗时、主观且存在不一致；interestingness、character development 等维度尤其依赖读者。自动指标成本低、异常值少，但仍要用人类信号校准。（论文报告，§3、§8，PDF pp.6、21）

人机协作。 COEVAL 由 LLM 生成 task-specific checklist 和 instance-level 结果，再由人复核，约 20% 评价分数被修改。协作写作还可测 edit distance、建议接受率、模型文本采用比例、words/time、完成时间、equality 和 mutuality；问卷可覆盖 helpfulness、ease、enjoyment、expression、ownership、surprise、proud 等体验。（论文报告，§8、Table 6，PDF pp.21–22）

这些交互指标测的是共同写作过程，不应与成品故事质量混成一个总分。例如接受率高可能表示建议好，也可能表示用户缺少编辑时间。（阅读者分析）

8. 这张地图暴露了哪些空白

标准与 benchmark。 Interestingness 等构念缺少标准化定义；现有 benchmark 领域、多维和长篇覆盖不足，很多资源仍围绕 ROCStories 与 WritingPrompts。（作者主张，§9，PDF p.22）

长篇。 作者以至少 40K words 的 Harry Potter fanfic 说明现实长篇规模，而已有处理多在约 0–10K；人类标注成本和 long-context understanding 都是瓶颈。（论文报告，§9，PDF p.22）

多模态与个性化。 多模态仍需空间、时间和复杂逻辑 relevance；同一故事对不同读者的吸引力不同，personalized evaluation 不可由通用平均完全替代。（作者主张，§9，PDF pp.22–23）

可靠性与公平。 未来还包括 evaluator debiasing、robustness、human-vs-AI stories 和 collaborative evaluation。（论文报告，§9，PDF p.23）

9. 综述自身的适用边界

论文没有系统检索协议、质量分级和证据强度评分，所以无法支持“覆盖全部故事评价文献”或“某类指标已达领域共识”。Table 2 中列举的生成数据集不是综述筛选计数，Figure 2 中“可用于故事评价”的通用 NLG metric 也不等于已在故事专用 benchmark 上验证。（阅读者分析）

此外，论文发表于生成式 judge 快速演化的 2024 年；商业模型版本、benchmark 和偏差研究会迅速变化。其长期价值主要是 taxonomy 和问题清单，而不是当时指标表现的永久排名。（阅读者分析）

关键原文定位

• 故事评价为何困难与综述贡献：§1，PDF pp.1–2
• 三类故事生成任务与数据集示例：§2、Tables 1–2，PDF pp.2–6
• 人工评价维度与九个 benchmark：§3、Tables 3–4，PDF pp.6–8
• 指标 taxonomy、reference 和输出格式：§4、Figs.2–3，PDF pp.8–11
• 传统文本/多模态指标：§5，PDF pp.12–16
• LLM evaluator 方法与四类 bias：§6，PDF pp.17–19
• OpenMEVA/Xie 方向性比较：§7、Figs.4–5，PDF pp.19–21
• 人机协作指标与 COEVAL 20% 修改：§8、Table 6，PDF pp.21–22
• 长篇、多模态、个性化和可靠性缺口：§9，PDF pp.22–23

tags: [论文精读, 故事评价, 文献综述, 自动指标, LLM评委, 人机协作] related: [[20_writingbench]], [[22_hellobench]], [[28_automated_creativity_eval]], [[19_storyalign]]

阅读者判断

这篇综述最好地回答了开头的“我们到底在测什么”：故事评价至少包含任务完成、文本结构、人物与情节、读者体验和交互过程，多种指标只能覆盖其中一部分。九个 benchmark 和三轴 taxonomy 是最强证据，它们让不可比性变得可见。应以较高信心把它作为概念导航，以中低信心接受“某类 evaluator 最强”的经验排序，因为检索不可复核、比较设置不统一。

对当前研究最有用的更新是：评价系统应采用“硬约束检查 + 专项结构指标 + 目标读者/专家判断 + 过程体验”的证据组合，并为每层写清构念和分母。综述没有交付一套已经验证的统一 rubric；它交付的是一张告诉我们为什么统一 rubric 会失败、以及还需补哪些验证的地图。（阅读者分析）