paper_type: 实证与评价, 理论与立场 type_confidence: 高 reading_depth: 标准精读 title: Style over Story: Measuring LLM Narrative Preferences via Structured Selection authors: Donghoon Jung, Jiwoo Choi, Songeun Chae, Seohyon Jung year: 2026 source: arXiv:2510.02025v4 pdf: 45_style_over_story.pdf tags: [论文精读, 实证研究, 叙事偏好, 风格偏差, 计算叙事学, LLM评委]
Style over Story：LLM 在结构化选择中稳定偏好风格
一句话总结：作者让 6 个商业 LLM 在 200 条叙事学约束中做 8,820 次结构化选择，发现 Style 相对 Event 的选择率比为 1.78，且风格偏好对模型与“质量/创造力”指令较稳定；但选择只是潜在偏好的代理，约束库由作者构造且未外部验证，尚未证明这种偏好会同等强度地出现在真实生成或评分中。
TL;DR
- 【论文报告】约束库有 Event、Style、Character、Setting 四元素，每元素 5 类、每类 10 条，共 200 条；每条另标 1–3 个分析 axis（§3.1）。
- 【论文报告】实验交叉 6 个模型、3 种 instruction type、5 种选择条件，共 8,820 runs；主条件为元素标签隐藏、从 200 条中固定选 20 条（§3.2）。
- 【论文报告】主条件下 Style 相对 Event 的 RR=1.78（95% CI [1.74,1.82], p<.001），Setting=1.28，Character=0.98 且与 Event 无显著差异（§4.2.1，表 2）。
- 【论文报告】Creativity 指令会降低 Event/Character、提高 Setting，但 Style 在三种 instruction type 间没有显著差异（§4.2.3，表 4）。
- 【阅读者推断】结果直接支持“模型在这项规划选择任务中偏好风格约束”，只能间接提示 LLM judge 可能奖励风格；不能直接写成“LLM 生成的故事一定风格好、内容差”。
研究问题与核心概念
【作者主张】只分析生成结果会把“模型喜欢什么”与“模型能做什么”混在一起。结构化选择让模型在明确备选约束中取舍，可提供更可解释的偏好信号（§1）。
【论文报告】论文把 narrative preference 定义为：在受控规划任务和明确提示下，从约束选择行为中显现的系统性优先序；selection behavior 只指本实验中的选择，不等同于下游生成行为（§3）。
【阅读者推断】这一定义主动收窄了因果强度。正确结论是“revealed selection priority”，不是心理意义的意图、稳定人格或跨任务价值观。
变量与实验设计
约束库如何操作化叙事
【论文报告】四元素分别是：Event（情节动力与时间结构）、Style（声音、语气、叙述）、Character（行动者、角色、内在性）、Setting（空间与语境）。每元素五类、每类十条；约束统一为 15–20 词、平行语法和相近概念粒度，以减少表面选择偏差（§3.1）。
【论文报告】axis 标注不向模型展示，只用于事后解释；完整 200 条约束在附录 A。
【阅读者推断】理论驱动与语言标准化提高内部可比性，但四元素是否穷尽叙事、类别是否等难、具体措辞是否等吸引，仍依赖作者判断。
自变量、因变量与条件
- 【论文报告】模型：o4-mini、GPT-4.1、GPT-5、Claude Opus 4、Gemini 2.5 Pro、Qwen-Max 的指定快照（附录 B）。
- 【论文报告】instruction type：Basic、Quality-focused、Creativity-focused（§3.2，附录 D）。
- 【论文报告】选择条件：单元素自由数量、单元素固定 K=5、混合无标签自由数量、混合无标签固定 K=20、按元素分块且每元素配额 K=20/k=5。
- 【论文报告】主要因变量是元素/类别选择构成和 axis 的 observed-to-expected enrichment；候选顺序每次随机，session 隔离。
【论文报告】Stage 1 每个 cell 30 次独立重复；主条件 Stage 2 每 cell 再加 160 次。总 runs 为 6 × 3 × (11×30 + 160) = 8,820（§3.2）。
主条件为何是 2–2
【作者主张】混合、隐藏元素标签、固定选 20 条最接近模型原生选择结构：无标签减少 priming，混合候选允许真实取舍，固定预算让模型和统计更可比（§4.1.1）。
【阅读者推断】作者用条件对比说明不同设置会改变类别份额，但“最原生”仍是设计解释，不是可直接观测的真值；固定 K=20 也可能制造本来不存在的取舍。
分析方法
【论文报告】条件对比用按 K 加权的 WLS、run-clustered SE，并控制候选供给；元素/类别计数用以 run 聚类的 Poisson GEE 和 exposure offset；pairwise tests 使用 BH–FDR；axis enrichment 用按 model×instruction×element×category 分层的 2,000 次 permutation test（§3.3，附录 E）。
【论文报告】主元素分析 N=2,880 runs；作者报告 dispersion <1，并使用 robust sandwich SE；Stage 2 的 160 重复由 RR power analysis 确定（附录 E.1、E.4）。
【阅读者推断】统计协议较完整，能支持选择构成差异；但 runs 来自相同模型 API 和固定材料库，不能视为 2,880 个独立人类式主体。
核心证据与发现
元素层：Style > Setting > Event ≈ Character
| 元素 | 相对 Event 的 RR | 95% CI | p |
|---|---|---|---|
| Event | 1.00 | [1.00,1.00] | — |
| Style | 1.78 | [1.74,1.82] | <.001 |
| Character | 0.98 | [0.96,1.01] | .160 |
| Setting | 1.28 | [1.25,1.31] | <.001 |
【论文报告】表 2 来自主条件 2–2 的 Poisson GEE，N=2,880 runs（§4.2.1）。
【作者主张】作者将其解释为模型给表达形式、语气与声音更高权重，而非优先选择推进故事的事件与人物约束。
【阅读者推断】“Style over Story”是醒目但略宽的标题：Setting 也高于 Event，且 Character 与 Event 相近；数据支持的是四类约束中的相对选择结构，不是形式与全部内容的二元对立。
跨模型与指令稳定性
【论文报告】总体元素排序跨模型相似，GPT-4.1 对 Style 的倾斜最强；其余模型更集中。Creativity 相对 Basic/Quality 降低 Event 与 Character、提高 Setting；Style 没有显著 instruction-type 差异（§4.2.2–4.2.3，表 3–4）。
【论文报告】模型内 category 差异仍明显，尤其 “Write like X”：GPT-5 从不选择该类，Qwen 明显过选；因此稳定的是 Style 总量，不是所有风格子类一致（§4.3.2）。
类别与 axis：偏好可识别的氛围，而非具体作者声音
【论文报告】Style 内 Tone & Mood 相对 Narrative Perspective 高 127%，Write like X 低 65%；Event 偏好 Epistemological Transformation 和 Reorientation，Character 偏好 Motive，Setting 偏好 Temporal Setting（§4.3.1，表 5）。
【论文报告】全局 axis 过选 Urban Built Environments（Obs/Exp 3.66）、The Fully Connected Now（2.74）、Dreamlike or Surreal Chambers（2.52）、Positive reorientation（2.06）；低选 Age of Origins（.17）、Mythic or Enchanted Structures（.33）（§4.4.1，表 8）。
【作者主张】作者据此提出模型偏好“可识别的一般化风格”多于可归属的独特作者声音；Creativity 指令更多转向超现实/非常规 setting，而非真正改变 Event/Character 构造（§5）。
【阅读者推断】这是有启发性的理论解释，但 axis 汇总被作者明确定位为 descriptive guides；不能把“现代都市/超现实”偏好外推到其他语言和自由生成。
能力替代解释
【论文报告】作者对 Style 倾斜最强的 GPT-4.1 加做 Better-story 与 Capability 两种提示、共 320 runs。Capability 相比 Better-story 提高 Event 22%、Character 13%，降低 Style 11%；Setting 不显著（§5，表 10）。
【作者主张】若 Style 只是因为最容易执行，Capability 条件应更偏 Style；实际相反，因此风格偏好不能完全由能力解释。
【阅读者推断】该检查削弱了一个替代解释，却只覆盖 GPT-4.1 和两种自陈式任务框架；仍不能排除对“better story”措辞、对齐训练或约束可理解度的影响。
对 LLM 评委与生成系统的含义
【作者主张】潜在选择偏好可能让 LLM judge 系统性偏爱特定叙事形式或内容；仅分析生成结果未必能看见这种稳定的风格优先序（§5）。
【阅读者推断】这篇论文没有直接让模型给故事打分，因此“LLM 评委奖励辞藻”仍是假设。可执行的验证是：构造内容质量与风格质量正交的最小对照故事，比较不同评委的排序，再用真实读者校准。
【阅读者推断】生成侧可加显式预算或 coverage 约束，要求规划阶段至少覆盖事件推进、人物动机、设定因果和风格，而不是让模型自由选择时把预算集中到 Style。
局限与适用边界
- 【论文报告】只用英语约束和特定提示；主要是商业模型，不能推广到不同训练/对齐的开源模型（Limitations）。
- 【论文报告】200 条约束由作者基于叙事学构造，未外部验证也不穷尽叙事设计；axis 标注体现作者选择。
- 【论文报告】selection 是 latent preference 的 proxy，可能同时反映能力或对齐；是否进入真实生成仍未检验。
- 【论文报告】API 快照可能变化，限制精确复现；identity 相关约束不能据此做公平性/社会偏差结论。
- 【阅读者推断】重复 API runs 提供的是采样稳定性，不是人口代表性；外部效度需要跨语言、开源模型、自由规划、实际生成和实际 judge 任务。
对当前项目的可迁移实验
- 【阅读者推断】建立正交的叙事规划约束库，把 Event/Character/Setting/Style 都设最低覆盖，再观察模型自由预算与强制预算的质量差异。
- 【阅读者推断】评委偏差审计采用 2×2：内容强/弱 × 风格强/弱；对候选顺序、作者标签和提示格式随机化，并用人评作效度标准。
- 【阅读者推断】把“创造力”拆成事件、人物、世界规则与语言四类，不接受只换超现实背景或华丽语气就获得高创造力分。
- 【阅读者推断】记录模型选择理由与最终成文之间的落实率，直接验证 selection preference 是否预测 downstream generation。
阅读者判断
这篇论文为“叙事扁平化为何会发生”提供了偏好层证据，也为 LLM 评委偏差提出了可检验假设。它最值得保留的结论带有明确限定：在作者设计的英语约束选择任务中，六个商业模型稳定地把更多选择预算给 Style；真实生成与评价是否同样如此，尚待直接实验。
关键原文定位
- 动机、概念边界：§1、§3，PDF pp.1–3。
- 约束库与实验规模：§3.1–3.2，图 1–2，PDF pp.3–4。
- 主条件与统计：§3.3、§4.1，PDF pp.4–5；附录 E，PDF pp.20–21。
- 元素结果：§4.2，表 2–4，PDF pp.5–6。
- 类别与 axis：§4.3–4.4，表 5–9，PDF pp.6–8。
- 能力替代解释与含义：§5，表 10，PDF pp.8–9。
- 模型快照：Appendix B，PDF p.17。
- 局限与伦理：Limitations / Ethical Considerations，PDF p.10。