AI_writing/pdfs/00_survey_llm_story_generation_精读.md

paper_type: 综述与文献回顾 type_confidence: 高 reading_depth: 标准精读 title: A Survey on LLMs for Story Generation authors: Maria Teleki, Vedangi Bengali, Xiangjue Dong, Sai Tejas Janjur, Haoran Liu, Tian Liu, Cong Wang, Ting Liu, Yin Zhang, Frank Shipman, James Caverlee year: 2025 source: Findings of EMNLP 2025, pp.13954–13966 pdf: 00_survey_llm_story_generation.pdf tags: [论文精读, 综述, 故事生成, 人机共创, 评价]

LLM 故事生成综述:真正的分界不是模型,而是谁拥有作者权

一句话答案:这篇综述最有用的贡献,是用“LLM 主写还是人类主写”把 NLP 生成系统与 HCI 共创工具放进同一张地图;但它只覆盖少量指定顶会论文,因此能帮助读者选择研究路线,不能代表整个领域的完整统计。

为什么故事生成需要重新画一张地图

LLM 故事研究看似都在“让模型写故事”,实际却包含两种目标完全不同的工作:一类希望系统独立交付成文,另一类希望模型帮助人类作者构思、修改或互动。若只按模型、Agent 数量或规划算法分类,产品目标、评价标准和作者控制会被混在一起。

这篇综述的核心问题因此不是“哪种模型最好”,而是:怎样用一个足够简单的框架,把独立生成与人类主导的共创研究放进同一张可比较地图? 作者的答案是以 primary authorship 为第一分叉,再比较方法、数据、故事类型、评价和 LLM 使用。下文先检查这张地图怎样划界,再看它揭示了什么,最后判断窄检索范围使哪些结论仍不可靠。

先给结论

这张地图怎样划定覆盖范围和分类

检索范围。作者检索 2023–2025 年 CHI、CSCW、ACL、EMNLP、NAACL、COLING、TACL 中与 LLM 故事生成相关的论文,并因贡献独特额外纳入 FDG 的 StoryVerse。论文把 LLM 限定为 2022 年后、GPT-4 出现后的大模型。(论文报告,附录 A)

范围边界。这个范围使 NLP 与 HCI 研究能在同一框架中对照,却也决定了它更接近 venue-bounded narrative survey,而非系统综述:论文没有报告检索式、候选数量、逐步排除理由、双人筛选一致性或方法学质量评分,也可能漏掉 arXiv、AAAI、NeurIPS、ICLR、数字人文、游戏研究和产业系统。(阅读者分析)

分类逻辑:Independent。这一类把 LLM 当作主作者:单 Agent 方法包括受约束、prompt-based 与 outline-based,多 Agent 方法分 sequential co-authoring 与 role-based collaboration,代表系统包括 OSOS、MLD-EA、MOPS、DOME、CollabStory、SWAG 和 CRITICS。(论文报告,§2.1)

这些系统的共同目标是独立交付故事,差别在约束来自规则、规划、记忆、行动判别器还是多角色反馈。(阅读者分析)

分类逻辑:Author Assistance。这一类把人类视为主作者。Adaptive stories 会随玩家或读者输入变化,如 StoryVerse;Static stories 最终形成固定文本,又分 conversational 与 prompt-based,代表系统包括 CharacterMeet、MatheMyths、Metamorpheus 和 MEAT。(论文报告,§2.2)

这条路线的成功不只取决于文本质量,还涉及作者控制、帮助性、所有权、学习或治疗效果和交互负担。到这里,分类学回答了“研究目标不同在哪里”,下一步要问的是:这些类别之间的证据真的能互相比较吗?(阅读者分析)

跨论文证据揭示了什么,又不能证明什么

数据与模型。表 1 显示,数据从 WritingPrompts、ROCStories、评论和图像等公开资源,到完全无数据、只做系统演示不等;模型以闭源 API 为主,训练方式、prompt 和用户输入也各不相同。(论文报告,§3–4,表 1)

评价证据。用户研究常见但样本通常约 10–35 人;BLEU、ROUGE 和 BERTScore 可以扩展,却难以测量创造力;LLM-as-a-Judge 更接近人工比较,但结果依赖评委稳定性。论文据此指出,领域缺少标准化 Benchmark、故事专用指标、纵向效果、多模态评价与协作署名评价。(论文报告,§5)

证据边界。这些材料支持一个方法学结论:表 1 适合比较设计要素,不适合把不同任务的分数拼成排行榜。系统 demo、短期用户偏好和自动文本指标属于不同证据等级;把它们并排放置可以暴露研究缺口,却不能自动产生“最佳方法”。(阅读者分析)

作者议程。作者据此提出推理时 constrained decoding 或 rule-based sampling、开放与小模型、故事专用 embeddings、disfluency 与 discourse features 等方向。(作者主张,§6、附录 B)

这些建议与前面的异质性诊断相连,但仍属于研究议程,而不是已经由统一实验验证的优先级。(阅读者分析)

检索边界怎样限制这张地图

论文自述的局限。综述自身的 Limitations 主要讨论 LLM 的长程连贯、语境理解和事实幻觉,没有系统反思检索偏差。作者辅助样本又多来自教育、儿童、治疗或角色构建场景。(论文报告,§9)

使用边界。这张地图最稳妥的用法是帮助研究者先选择 Independent 或 Author Assistance 路线,再沿状态表示、规划粒度、AI 权限和证据类型继续细分。它不能单独支撑“领域全貌”、职业长篇小说工作流或研究优先级判断;这些问题需要补充更广泛的检索与统一的证据质量评估。(阅读者分析)

原文定位(附录)

读完后的判断

这篇综述回答了开头的问题:它用作者权归属建立了一张直观的跨域入口地图,最强证据是分类学与表 1 对不同研究目标、数据和评价方式的并置。这个答案在“帮助读者分流研究路线”上可信度较高,在“描述整个领域”上可信度较低,因为检索范围窄且筛选协议不可复核。

读完后最值得更新的认识是:故事生成并不是一个只靠统一文本分数就能比较的单一任务。对当前项目而言,应把 Author Assistance 作为产品主线、Independent 作为后台能力,并用状态表示、规划粒度、AI 权限和证据类型继续标注系统;这项设计含义直接来自综述揭示的目标与评价异质性,而不是对某一种模型的额外偏好。