一句话总结：⚠️ 测的是长上下文「理解」,非生成。上下文窗口涨到百万 token,但怎么测"真理解"很难。本文用小说当试金石(128k+ token 的长程语义依赖),建 TLDM 基准测三件事:情节摘要、故事世界配置、叙事时间流逝。结论很硬:7 个前沿 LLM 在 64k token 之后就无法保持稳定理解——远早于窗口上限。

TL;DR 速览（快速收录）

• 问题:needle-in-haystack / passkey 这类基准只测"能否取到中间那根针",测不了"整合多处信息得出复杂结论"的真理解。
• 方法(TLDM 基准):用整本小说,测模型报告 ① 情节摘要 ② 故事世界配置(storyworld configuration) ③ 叙事时间流逝(elapsed narrative time)。
• 关键发现:7 个前沿 LLM 全部在 64k token 之后无法保持稳定理解——远低于其号称的窗口上限。
• 一句话评价:这篇给出一个硬约束：LLM 很难真正理解 64k+ 的长篇。整本书评估不能只依赖长窗口硬读，而需要结构化预处理或分段协作。

tags: [论文精读, 长上下文理解, 小说, 基准, 硬约束] related: [[15_storyline_trees]], [[01_lost_in_stories]], [[42_chain_of_agents]], [[09_longwriter]]

要点

• 作者/机构:Sil Hamilton, Rebecca M. M. Hicke, Matthew Wilkens, David Mimno(Cornell University 信息科学/计算机)。
• arXiv:2505.14925(2025-05)

[!PDF|] 43_tldm.pdf, p.1

benchmark, which tests a model's ability to report plot summary, storyworld configuration, and elapsed narrative time

[!PDF|] 43_tldm.pdf, p.1

none of seven tested frontier LLMs retain stable understanding beyond 64k tokens

[!PDF|] 43_tldm.pdf, p.1

must look beyond "lost in the middle

[!tip] 为什么这对"用 LLM 当长篇判别器"是硬约束? 长篇判别器往往需要读取整本小说。TLDM 表明即使上下文窗口足够，前沿 LLM 在 64k token 后也难以稳定理解情节、世界配置与时间线。因此应先构建场景树或世界状态等结构化表示，或采用 [[42_chain_of_agents]] 的分段协作，而不是直接把整本书塞进单个长窗口。

个人思考

• 工程启示：长篇判别器应先构建故事线树或世界状态图，或采用 CoA 式分段汇总；"整本输入单个 LLM"不是可靠架构。
• 关联:与 [15_storyline_trees]、[42_chain_of_agents]是"绕开长上下文墙"的两种解;与 [[01_lost_in_stories]]/[[02_from_personas_to_plot_magnet]] 的"显式状态而非通读"呼应。
• 局限 & 相关度:是理解/评测基准,非生成;相关度中(给判别器架构划了条硬红线)。