AI_writing/papers/10_storywriter.md

StoryWriter: A Multi-Agent Framework for Long Story Generation


1. 要解决的问题

长故事生成(尤其超过 1000 词)对 LLM 有两大难点: - 篇章连贯(discourse coherence):要求情节一致、逻辑连贯、完整;长文里要保住远距离关键信息(事件、人物、关系)。 - 叙事复杂度(narrative complexity):要求交织、引人入胜、多样;LLM 直出往往同质化、缺乏情节推进。

2. 方法 / 核心思路

全部基于 AutoGen 多智能体框架实现,backbone 用 GPT-4o-mini。流水线三段(Premise → Outline → Chapter → Story):

2.1 Outline Agent(事件图大纲)— 两个 agent

不写描述性句子,而把大纲结构化成事件元组序列 / 事件图(节点=事件,边=事件间关系如因果,每个事件绑定若干人物、时间、地点)。 - EventSeed:按 premise 顺序增量生成事件,补齐时间/地点/关系等信息。 - EventValidator:持续监控、校验每个事件是否合理连贯,给反馈并引导后续事件生成(图中 "Good and next" / "Bad and I suggest…")。

2.2 Planning Agent(非线性叙事 NLN)— 两个模块

基于 Genette 叙事顺序理论(区分 story order 与 narrative order,用 analepsis 倒叙 / prolepsis 预叙),把事件拆解后重排到各章,制造交织感又不破坏因果链。 - SubTasker:把高层事件分解成更细的 sub-event。 - Weaver:把 sub-event 分配到不同章节(可跨章、非时序),只要因果/逻辑链保留,读者仍能重建事件链。这是对抗同质化、提升复杂度的关键。

2.3 Writing Agent(ReIO 压缩改写)— 两个 agent

论文实测:输入超过约 10,000 字符后 LLM 出现上下文碎片化、注意力衰减,导致跑题。为此提出 ReIO(Re-write Input and Output): - Coordinator:统管全局叙事架构,全程参与。输入端动态摘要压缩历史、只留与当前 sub-event 相关的信息(摘要缓存复用);输出端评估并在必要时改写生成文本,使其对齐大纲与风格。 - FinalWriter:专注合成最终叙事,保证风格统一、文本质量。 - 采用滑动窗口做历史压缩;实验发现对 <15,000 token 的文本,窗口 [2, k-1](即最大化简化中间历史、只保留首尾)效果最佳。

3. 数据与实验

4. 主要结果(带数值 vs baseline)

主表(人评 / 自动,均分,满分 5,见 Table 1): | 模型 | 人评均分 | 自动均分 | 平均长度(词) | |---|---|---|---| | DOC | 3.7 | 3.9 | 2,373 | | Agents' Room | 3.8 | 3.9 | 3,134 | | GPT-4o-mini | 3.6 | 3.9 | 1,078 | | STORYWRITER | 4.2 | 4.2 | 8,081 |

消融(自动评估,Table 2): - 去掉事件图大纲 (-Events-Outline):均分 4.3→2.5(复杂度 CX 从 4.6 崩到 1.1),破坏最大。 - 去掉 NLN (-Planning):均分→3.9,复杂度掉到 3.8(第二大破坏)。 - 去掉 ReIO-Input:均分→3.9(输入变长、成本升、性能降)。 - 去掉 ReIO-Output:相关性 RE 4.1→3.7(改写维护结构一致性的作用被证实)。

SFT 下游(LongBench-Write 评测,综合分 S̄,Table 3): - STORYWRITER_GLM 综合分 83.7,全面超过 backbone GLM4-9B(47.3)、LongWriter-GLM4-9B(76.3),也超过 GPT-4o(67.4)。 - STORYWRITER_LLAMA 73.4,远超 Llama3.1-8B-Instruct(46.6)。 - 在 4000 词以上分桶质量提升尤为明显;虽未显式训练长度控制,长度得分 S_l 也大幅优于基线(说明"用更长的响应训练能自然增强长度遵循能力")。

5. 局限

  1. 只用了 GPT-4o-mini 做生成(省钱),更强模型可进一步提升;蒸馏到 8B 也是可优化点。
  2. 仅英文数据。
  3. 主要针对小说式故事,对剧本、诗歌、散文等其他文体探索有限。 4.(工程侧隐含)事件图 + 校验 + 压缩改写会放大 API 调用与延迟。

6. 对做产品 / 工程的启发

关联