Anthropic 发现大模型内部维持着一小簇可言语化的特权表示(J-space),功能上像认知科学里的"全局工作空间 / 意识访问"——可报告、可调制、可追踪推理。本页把这篇主论文,与围绕它精读的 9 篇意识理论文献放在一起,看它们如何呼应,又如何相互反驳。
阅读论文原文 · transformer-circuits.pub ↗主论文用一套统一范式立论——读出内部表示 → 交换/注入向量 → 看行为是否随之改变。核心工具 J-lens(雅可比透镜)用"激活对输出的平均线性因果效应"读出一个中间层激活倾向被说成哪个词。它证明这个只占极小方差的子空间,却主导了报告与推理。
对应认知科学"意识访问"的功能特征 · 悬停查看
从意识理论的奠基作、竞争理论,到把工作空间搬进深度学习的工程尝试。点击卡片展开 TL;DR、关键 takeaway 与"与 J-space 的关联"。
"J-space 算不算意识相关"没有统一答案——取决于你戴哪副理论眼镜。选一个理论,看它如何评判主论文的发现,以及它落在 access ↔ phenomenal 光谱的哪一端。
抛开哲学分歧,从神经科学到深度学习,五个系统独立收敛到同一个机制骨架。主论文的贡献是证明它能在单个 LLM 里自发长出来、且可读可改。
五个系统——生物的 GNW、工程的 Shared Workspace / Global Latent Workspace、Bengio 的 Consciousness Prior,以及主论文的 J-space——都共享同一骨架:
▸ 容量受限的瓶颈(bottleneck) ▸ 向全网广播(broadcast) ▸ 可被任意下游灵活调用Goyal 的实验甚至给出倒 U 曲线:slot 数太多反而变差——"限带宽"不是工程妥协,而是有益的归纳偏置。
Goyal / VanRullen-Kanai 把工作空间显式设计进网络,回答"加瓶颈是否有用"(有用);主论文声称它在标准训练中自发涌现,回答"网络是否自己造一个"(会)。但涌现版是否具备设计版的全部功能,仍需更强对照。
AST 与 IIT 从两个方向敲警钟:J-space 能读出/改变模型的"自我报告",但报告可能只是一个自我模型(attention schema)的产物,而前馈系统的整合信息 Φ 可能根本为零。主论文只认 access、对 phenomenal 不表态,正是对这条张力的正确回应。