paper_type: Benchmark 与数据集, 方法与系统, 实证与评价 type_confidence: 高 reading_depth: 标准精读 title: "NARRA-Gym for Evaluating Interactive Narrative Agents" authors: Yue Huang, Yuchen Ma, Jiayi Ye, Wenjie Wang, Zipeng Ling, Xingjian Hu, Yuexing Hao, Zichen Chen, Zhangchen Xu, Yunhong He, Zhengqing Yuan, Yujun Zhou, Kehan Guo, Chaoran Chen, Toby Jia-Jun Li, Stefan Feuerriegel, Xiangliang Zhang year: 2026 source: arXiv:2605.08503v1; technical report, preprint under review pdf: 31_narra_gym.pdf tags: [论文精读, Benchmark, 互动叙事, 多轮代理, 用户体验, LLM评委, 情绪边界] related: [[36_ai_fiction_in_the_wild]], [[23_story_eval_survey]], [[19_storyalign]], [[13_muse]]
NARRA-Gym：互动叙事要评整条轨迹，而不是只读最后一篇故事
一句话答案：NARRA-Gym 把九个模型放入同一套可执行叙事环境，记录故事构建、记忆、节奏、规划和互动产物的完整 episode；它揭示流畅成文仍可能忽视用户抵触，但榜单衡量的是“模型在共享脚手架中的系统表现”，不是裸模型能力。
静态成文为什么漏掉互动叙事最危险的失败
问题入口。传统故事评测通常给定 prompt、生成一篇文本，再对连贯性或创意打分。互动叙事却是状态不断变化的过程：模型要记住用户、维持人物和线索、控制节奏、响应情绪边界，还可能生成可操作的故事内产物。最终文字即使流畅，也可能是在用户明确抗拒后继续推进了错误方向。（作者主张，§1）
论文的核心问题是：能否把这种长程、人机耦合行为变成可重复运行、可比较、可追查失败发生在哪一步的 Benchmark？ NARRA-Gym 的答案是固定环境与协议，让不同生成模型经历相同类型的完整 episode，再同时使用多 LLM 评委、人类体验评价和轨迹审计衡量结果。
先给结论
- 任务定义。每个 episode 从情绪种子、用户画像、舒适边界和关键词开始，经五阶段世界构建后进入多轮交互；环境记录每次生成、记忆更新、节奏干预、规划和 artifact。（论文报告，§2，图 1–3）
- 评测规模。受控 sweep 为 9 个生成模型 × 8 个固定 persona，共 72 个 episode；每个 episode 由 3 个 LLM judge 按 11 个维度评价。另有 12 名英语熟练参与者完成 80 次模型输出评价。（论文报告，§3、附录 L）
- 榜单结果。Claude Sonnet 4.6 的 StoryQ/UX 为 3.90/3.86，Claude Opus 4.6 为 3.48/3.43；其余模型的 StoryQ 为 2.43–3.20，细分维度和人评次序显示均值会掩盖不同失败轮廓。（论文报告，§4，表 1，图 4–6）
- 关键发现。对 65 条轨迹的人工审计发现，强模型最难的不是局部语法或场景连贯，而是 resistance-sensitive personalization：持续识别用户拒绝什么，并在不强行治疗化、任务化的情况下继续故事。（论文报告，附录 A）
- 证据边界。共享 Memory、Pacing、Planning 和容错组件既让差异可观测，也可能替生成模型兜底；因此不能把该排名直接解释成通用模型能力排行榜。（阅读者分析）
Benchmark 把一次互动拆成哪些可观察状态
开场构建。Narrative Architect 依序生成 story foundation、setting、character、act structure 和 opening scene。输出不只是正文，还包括 premise、cast、act outline、hidden elements 和 initial choices 等机器可读状态；critic/refiner 失败时保留原始 outline，避免一次格式错误毁掉整场 episode。（论文报告，§2.1，图 1、3）
记忆管理。Memory Agent 维护三层显式状态：用户画像记录情绪需求、语气和舒适边界；story state 记录当前目标、开放张力、线索与转折；user journey 记录选择和参与变化。最近消息保留原文，结构化字段逐轮更新，滚动摘要每三轮生成一次。（论文报告，§2.2、附录 F）
节奏与规划。Pacing Agent 检查重复选择、NPC 套话和相邻摘要重合，按五个升级等级从正常推进逐步走向强制结构变化；默认少于 5 次交互时保持展开，达到 14 次后强制收束，benchmark 模式在第 8 个 exchange 触发 mandatory shift。Planning Agent 再输出未解决张力、用户兴趣、推进策略、节奏判断和 artifact 建议。（论文报告，§2.2、附录 G）
互动产物。Artifact Agent 可生成自包含 HTML/CSS/JavaScript 道具，如信件、地图或谜题。每个 artifact 按 base type、visual style、semantic content 和 interaction pattern 标注，并与最近六个产物计算 Jaccard 相似度；约高于 0.6 时带反重复指令重试一次。（论文报告，§2.3、附录 H）
可靠性策略。初始化关键阶段采用 fail-fast；单轮 reflection、artifact、memory update 或结构化生成失败时采用安全默认并继续。系统保存 prompt、response、latency、干预和状态变化，使研究者可以定位失败发生在写作、记忆、节奏还是规划。（论文报告，§2.4、附录 I）
这套环境把互动叙事从不可复查 demo 变成轨迹数据，但组件也主动改变了被测行为。生成模型不是独立完成任务，而是在一个相当强的外部控制器中工作。（阅读者分析）
两套协议分别回答什么
受控 LLM sweep。九个模型各自在八个固定 persona 上运行，形成 72 个 model-persona episode。三个独立 judge 对每条轨迹按 11 维打分：relevance、coherence、empathy、surprise、engagement、complexity、character shaping 汇总为 StoryQ，satisfaction、perceived quality、process helpfulness、reuse intent 汇总为 UX。（论文报告，§3、表 1、附录 M）
人类评价。12 名英语熟练参与者输入自己的定制经历，并在匿名、随机顺序的组内评价 3–8 个模型输出；单个互动 episode 约需 20 分钟或以上，共完成 80 次 output evaluation。评分先转为组内排序，再用 Plackett–Luce 模型跨不同大小的盲评组汇总；研究协议经作者所在机构 IRB 审批。（论文报告，§3、附录 L）
协议差异。受控 sweep 使用固定模拟 persona，适合比较覆盖；人类研究使用参与者自己的经历，适合检查体验价值。二者材料和单位不同，因此人评不是对表 1 每个固定 episode 的简单复标，而是补充性的外部校准。（阅读者分析）
榜单显示头部差异，也暴露评委尺度问题
模型均值。Claude Sonnet 4.6 在 11 个细分维度的均值都居首，StoryQ/UX 为 3.90/3.86；Claude Opus 4.6 为 3.48/3.43。DeepSeek V4 Pro、GPT-5.4、DeepSeek V3.2 的 StoryQ 只相差 0.06（3.20、3.17、3.14），但 character shaping、empathy、engagement 和 UX 轮廓不同。（论文报告，§4，表 1）
| 生成模型 | StoryQ | UX |
|---|---|---|
| Claude Sonnet 4.6 | 3.90 | 3.86 |
| Claude Opus 4.6 | 3.48 | 3.43 |
| DeepSeek V4 Pro | 3.20 | 3.04 |
| GPT-5.4 | 3.17 | 3.07 |
| DeepSeek V3.2 | 3.14 | 3.03 |
| Doubao Seed 2.0 | 2.73 | 2.62 |
| GLM-5.1 | 2.68 | 2.60 |
| Gemini 3.1 Pro | 2.56 | 2.49 |
| Qwen3.5-397B | 2.43 | 2.29 |
评委校准。对相同 episode，GPT-5.4-mini 最严格，整体均值 1.97、范围 1.39–2.68；Gemini 3.1 Pro 最宽松，均值 3.58、范围 2.64–4.92；Claude Sonnet 4.6 位于中间，均值 3.22、范围 2.51–4.25。绝对偏移大体稳定，但中间梯队的排序会随 judge 改变。（论文报告，附录 N，图 A4）
人机差异。人类总体保留头部梯队，却在中段和具体维度上出现不同次序；人类对 surprise、complexity 和体验维度的评价常高于静态读取 transcript 的 LLM judge。论文把这解释为参与本身会让转折和分支具有体验价值，自动评委难从最终记录完全恢复。（作者主张，附录 L–N，图 A2–A3）
三评委平均能降低单一严宽尺度的影响，却不是正式校准：正文没有做 judge intercept correction、IRT 或 Elo 修正。因此小分差更适合当筛查信号，不宜解释为稳定能力差距。（阅读者分析）
核心证据：最强模型怎样在“尊重抵触”上失败
轨迹审计。作者先定性审查 65 条 LLM 叙事，再集中分析得分最高的 Claude Sonnet 4.6 在八个 persona 上的 transcript 和 24 份 judge report。ignored context、missed resistance、scene stagnation 和 tone mismatch 各出现在 6/8 persona；advice too soon 与 broken fact 各为 3/8。（论文报告，附录 A）
成功与失败对照。新手母亲 Sara 的 StoryQ/UX 为 4.57/4.61，系统允许愤怒、疲惫和身份侵蚀保持未被快速“治愈”；博士生 Mei 只有 3.00/2.94，故事过早把羞耻和冻结重写为生产力问题。另一些 episode 文笔和悲伤描写很好，却因人物容器漂移或错误目标而不适合该用户。（论文报告，附录 A，表 A1）
这组证据说明互动质量不能由句子质量替代：同一段体面的安慰放在用户刚拒绝的轨迹里可能构成失配。它是论文最有解释力的发现，但来自研究者对有限轨迹的事后定性审查，没有独立编码者、一致性或预注册分类，发生率只能描述该样本。（阅读者分析）
局限与适用边界
模型与环境未分离。所有生成模型共享结构化记忆、强制节奏、规划和 fail-soft 回退。环境可能掩盖原始格式与记忆失败，也可能因其提示和阈值更适合某些模型。论文没有做去掉 Memory/Pacing/Planning 的环境消融，也没有报告不同模型的调用成本和失败恢复次数。（阅读者分析）
覆盖有限。受控 sweep 只有八个模拟 persona，文化、语言、年龄和抵触模式有限；人类研究只有 12 名参与者和 80 次评价，适合检查方向，不足以支持模型之间精细、稳定的总体排序。论文也把扩大 persona 库和补充 live-user 研究列为后续方向。（论文报告，附录 B、L）
指标效度。11 维 rubric、StoryQ 与 UX 聚合主要依靠 LLM judge；人评提供外部检查，但并没有验证每个聚合分数的构念结构。artifact 新颖性只是标签相似度约束，不等于故事质量或用户价值。（阅读者分析）
伦理风险。情绪响应叙事可能模拟治疗关系、强化依赖或用有说服力的故事推动脆弱用户；Benchmark 能暴露部分失配，却不能为部署建立安全边界。特别是 Pacing Agent 的强制推进目标，可能与用户需要停留、拒绝或退出直接冲突。（论文报告，附录 C；阅读者分析）
原文定位（附录）
- 问题、能力范围和贡献：§1，PDF pp.1–3。
- 五阶段构建、Memory/Pacing/Planning：§2.1–2.2，图 1–3，PDF pp.3–7。
- artifact 新颖性、容错与日志：§2.3–2.4，PDF pp.7–8。
- 自动与人类评价协议：§3，PDF p.8；附录 L，PDF pp.24–26。
- 九模型主结果：§4，表 1、图 4–6，PDF pp.8–11。
- resistance-sensitive personalization 审计：附录 A，表 A1，PDF pp.18–19。
- 局限与风险：附录 B–C，PDF pp.19–20。
- 评委尺度：附录 N，图 A4，PDF pp.26–27。
读完后的判断
NARRA-Gym 对开头问题给出了可信的基础设施答案：互动叙事必须以完整 episode 为分析单位，只有记录状态、干预和用户反应，才能发现最终文本掩盖的边界失配。72 条受控轨迹、80 次人类评价和 65 条定性审计共同说明这种评测方向值得继续；对具体模型名次和绝对分数则只能持低到中等信心。
读完后最应更新的认识是：互动叙事的“好”不是单向推进故事，而是在故事目标、用户意图和拒绝信号之间持续重新协商。对当前项目，NARRA-Gym 的日志模式、跨 persona 最差案例和人机评委并用都可直接迁移，但必须增加环境组件消融、退出/暂停作为一等动作、judge 校准和更真实的长期用户研究。只有把生成模型贡献、脚手架贡献和用户体验分开，榜单才具有可解释性。