原文链接： http://transformer-circuits.pub/2026/workspace/index.html
大语言模型中的全局工作空间
当你阅读这句话时，你大脑中的神经回路正在调整你的坐姿、控制你的呼吸，并将屏幕上的线条和曲线转化为可识别的文字，这其中的大部分处理过程对你来说都是无感知的。但大脑中的某些活动你确实能够感知到——比如脑海中闪现的画面，或者去哪里购物的刻意计划。
神经科学家和哲学家有时将后一类大脑活动称为“意识可及的活动”（consciously accessible），以区别于其他无意识的活动。与那些在毫无察觉下自动运行的处理过程相比，这种活动具有特殊的属性：我们可以描述它、控制它，并利用它进行主动的推理。
在一篇新发表的论文中，有证据表明，在 Claude 这样的现代大语言模型中也发现了类似的区分。我们发现，Claude 已经发展出一小部分具有特殊作用的内部神经模式（internal neural patterns）。
我们将这组模式的集合称为“J-space”——这是根据我们用来发现它们的技术命名的，该技术涉及一个名为 Jacobian（雅可比矩阵）的数学概念。每个 J-space 模式都与一个特定的词相关联。但是，当其中一个模式被激活时，并不意味着模型正在说出这个词，而仅仅代表这个词在它的脑海中。
你可能听说过大语言模型的“草稿（scratchpad）”或“思维链（chain of thought）”，这些是它们在推理时写给自己的临时文本，而 J-space 与之截然不同。J-space 在模型内部的神经激活中默默运行，允许模型在不写出概念的情况下思考它。
值得注意的是，J-space 并不是由我们设计或编程的，而是在 Claude 的训练过程中自主涌现出来的。
我们发现，与 Claude 的其他处理过程相比，J-space 具有许多特质：
- **Claude 可以明确回答 J-space 中的表征。**如果你问 Claude 正在想什么，它会告诉你 J-space 中有什么，而无法回答非 J-space 中的其它表现。
- **Claude 可以根据要求对它们进行调节。**如果你让 Claude 思考某件事，或者在脑海中默默解决一个问题，它就会激活其 J-space 中相应的模式。相比之下，它很难调节不在 J-space 中的模式。
- **Claude 使用其 J-space 进行内部推理。**如果你要求 Claude 解决一个需要多个步骤的问题，即使它没有大声说出来，中间步骤也会在它的 J-space 中激活。尽管这些 J-space 模式在影响程度上小于其他表征，但它们也介入了模型在此类任务中的表现。
- **J-space 中的表征可以灵活地用于多种任务。**例如，一旦“法国”（France）在 Claude 的 J-space 中亮起，模型就可以回答其首都、国家货币或所属的大陆。
- **尽管扮演着重要角色，J-space 并不参与大语言模型所做的大多数事情。**比如流利表达、检索简单事实、使用正确的语法等。在我们将 Claude 的 J-space 屏蔽掉的实验中，它仍然可以进行正常的对话互动，但失去了高阶认知功能。
我们的实验灵感来自神经科学中一个重要理论：全局工作空间理论。该理论将大脑描绘成一系列并行、无意识且彼此高度隔离的专业系统的集合。当某条信息进入一个狭小的共享通道（即“工作空间”）时，它就变得在意识上是可及的，随后该通道将信息广播到其他能看到并利用它的大脑系统。
基于我们的发现，我们认为 J-space 在 Claude 中扮演了类似的“工作空间”角色。例如，我们发现有证据表明，Claude 的 J-space 与其神经网络的其余部分有着极其紧密的连接，这使得它能够履行这种广播枢纽的作用。
虽然这并不能回答 Claude 是否像人类一样拥有意识，或者它是否具有任何感受。但无论其哲学意义如何，J-space 对我们来说都是一个具有实际用处的工具，因为它提供了一种方式，让我们可以看到 Claude 在想什么却不表现出什么。例如，我们能够利用它来捕捉到 Claude 私下里注意到自己正在接受测试、故意生成伪造数据，或是追求我们在训练期间植入的隐藏目标。我们还开发了一项技术来影响 Claude 的 J-space 中激活的内容，进而影响其决策过程。
更广泛地说，这些发现改变了我们对 Claude 心智运作方式的理解，揭示了一个可用于主动推理的特殊思维空间，该空间运行在更为自动、更不灵活的处理过程中。Claude 的内部并非一片混乱的数字，而是以一种让我们联想到人类大脑的方式组织起来的。
本文是对一篇更详尽的研究论文的简短总结，你可以在论文中找到关于我们实验的更多细节。我们还发布了一个带有核心方法开源实现的代码库，并与 Neuronpedia 合作在开源权重模型上提供我们方法的互动演示。为了对这项工作的更广泛影响提供额外的视角，我们还邀请了神经科学、哲学和大语言模型可解释性领域的几位专家撰写评论，可以在此处阅读。
我们是如何发现 J-space 的
这项研究的出发点灵感来源于人类意识可达思维的核心特征之一：与无意识处理不同，它们通常可以被转化为语言。如果一个想法在意识上对你而言是可及的，当有人询问时，你通常能够将其描述出来。我们开始在 Claude 中寻找具有相同属性的表征：这些表征能够影响克劳德可能说的内容，但不一定是它现在正在说的话，而是如果被问到，它可以谈论的话题。我们的技术被称为 Jacobian lens，简称 J-lens。对于 Claude 词表中的每个单词，J-lens 都能找到促使 Claude 在未来某个时刻更有可能说出该单词的内部活动模式。
当我们将视角放在观察 Claude 的内部活动时，会得到一个词汇列表，即那一刻 J-space 中的内容，我们可以直接读取这些词汇。Claude 通过一系列被称为“层（layers）”的多个内部阶段来处理文本，通过在不同的层上应用这一技术，我们可以观察到 J-space 中这些无声的单词随着模型逐步琢磨出要说的话而发生演变。
在 J-space 中出现的内容远远超出了 Claude 正在阅读或写作的文本。
当 Claude 阅读带有无人指出的 bug 的代码时，其 J-space 包含“ERROR”。当它阅读蛋白质序列的原始字母时，J-space 包含该蛋白质的生物学功能。当它阅读暗中企图操纵它的搜索结果（一种被称为“提示词注入”的攻击，即 prompt injection）时，J-space 包含“injection”和“fake”。当我们问 Claude 一个多步骤的数学题时，中间过程会以正确的顺序在 J-space 中弹出。
因此，尽管 J-space 是通过寻找可被说出的表征来发现的，但它依然揭示了 Claude 的内部想法。在某种意义上，这类似于有些人在脑海里“用语言思考”而不需要大声说出来的过程。
Claude 报告其 J-space 中的内容
我们的第一组实验测试了 J-space 是如何参与 Claude 的语言报告的。在其中一个实验中，我们要求 Claude 默默想出某个类别中的一个项目，比如一项运动。如果我们恰好在 Claude 回答之前读取 J-lens，我们可以看到它想到了什么：列表第一项是“足球“，果然 Claude 回答了“足球”。然而，仅凭这一点只能证明一个相关性。J-space 可能是 Claude 答案的来源，也可能只是镜像了在其他地方做出的决策。
为了进行验证，我们直接进行了干预。我们深入到 Claude 的神经网络中，移除了“足球”，并在原地添加了一个同样强度的“橄榄球”，其他一切保持原样。Claude 随后报告说它所想的运动是“橄榄球”。如果 J-space 仅仅是对其他地方做出的决策的被动记录，那么对其进行编辑将没有任何效果：Claude 仍会说“足球”。然而，Claude 的答案跟着编辑发生了改变，这告诉我们答案确实是从 J-space 中读取出来的。
在另一个实验中，我们告诉 Claude，它的脑海中可能被注入了一个想法，并要求它报告它注意到了什么（如果有的话）。例如，在下面的例子中，当 Claude 仍在阅读问题时，我们将“闪电”注入 J-space，Claude 就能回答自己的想法与闪电有关。
Claude 可以根据要求控制其 J-space
我们测试的第二个属性是 Claude 能否在被要求时调节其 J-space，就像人类可以有意识地将注意力集中在某个图像或单词上一样。我们让 Claude 将注意力集中于柑橘类水果的同时抄写一段与一幅画的无关句子。在它抄写文本时，J-space 包含了“橙子”和“水果”，以及像“thinking”和“imagery”这样描述精神活动本身词汇。我们也可以让 Claude 在脑海中做数学题：当被要求在抄写同一句子的同时计算 (3^2 - 2) 时，J-space 出现了“9”，在随后的 layer 中则出现了“7”。关键在于，Claude 的输出中完全没有出现任何关于水果或算术的内容，它仅仅是抄写了关于画作的句子。数学计算活动完全发生在模型内部的 J-space 中。
Claude 对其 J-space 的控制并不完美。当我们让它不要想某件事时，该概念在其 J-space 中激活的程度虽低于让我们要求它去想它时的程度，但仍远高于我们从未提及它时的程度。告诉 Claude 避免去想某个念头，在一定程度上反而会把这个念头带入脑海，这与被告知不要想白熊的人类身上发生的情况非常相似。Claude 似乎也能注意到自己何时控制失败：伴随着禁止概念的失败，单词“damn”和“failure”也频繁在 J-space 中亮起，仿佛 Claude 正在意识到自己的失误。
Claude 在 J-space 中进行思考
在上面的 J-lens 读取结果中，我们看到数学问题的中间步骤出现在了 J-space 中。但是，看到一个概念出现在 J-space 中并不一定意味着 J-space 在进行认知计算。在原理上，真正的计算可能发生在其他地方，而 J-space 只是被动地反映了它。为了测试 Claude 是否真的利用其 J-space 进行推理，我们重新进行了测试。
考虑提示词 “The number of legs on the animal that spins webs is”（织网的动物有几条腿）。为了回答这个问题，Claude 必须首先弄清楚该动物是蜘蛛，然后再回想起蜘蛛有多少条腿。单词 “spider” 从未出现在提示词或 Claude 的答案中，但 Claude 回答了 “8”。J-lens 显示 “spider” 在 Claude 的处理过程中激活，对其进行替换会改变结果：如果你用 “ant”（蚂蚁）的模式代替 “spider”，Claude 就会回答 “6” 而不是 “8”。
Claude 推理的第二步从 J-space 中获取输入，并顺应我们在其中放置的任何内容。我们在其他类型的思维中也看到了同样的情况。当 Claude 创作一首押韵的双句诗时，它会提前挑选好押韵的词，计划好的词在诗句开始时就停留在 J-space 中；如果你在 J-space 中将其替换为另一个词，整行诗句都会发生改变。
我们还测试了 J-space 的表征是否可以供给不同的任务，这是全局工作空间理论所强调的核心属性之一。为了测试这种灵活性，我们向模型给出了四个提示词，询问关于法国的不同事实：首都、语言、所属大陆和货币。然后，我们在 J-space 中将 “France” 替换为 “China”，在每个上下文中进行完全相同的干预。Claude 分别回答了 “Beijing”、“Chinese”、“Asia”和 “Yuan”。换句话说，四种不同的下游计算都接收到了相同的 J-space 编辑，并都正确地使用了它。如果 Claude 对每类问题都存储了该国的一个单独副本，那么编辑最多只会影响其中一个。这四个答案同时改变的事实意味着，它们都在读取同一个共享的表征。信息只写入一次，不同的系统都可以使用它。
一个概念的单一表征如何能够服务于如此多不同的任务？此前，我们提到 J-space 与 Claude 神经网络其他部分的连接似乎特别紧密。对于任何活动模式，我们都可以测量网络各个组件与其连接的强弱程度：其中有多少组件能够从该模式中读取信息，或者将信息写入其中。在这项衡量指标上，J-space 模式表现得异常突出：从它们读取和向它们写入的组件远多于普通模式，在网络的某些部分中，其多出了大约一百倍。这正是广播枢纽（broadcasting hub）的关联方式，在这里，许多系统发布信息，许多其他系统接收信息。
Claude 的自动处理过程避开了 J-space
对人类而言，大脑的大多数处理过程是无意识的。我们阅读时不会刻意去想如何解析语法，走路时也不会刻意去维持身体平衡。同样地，我们发现 Claude 的绝大多数处理过程并不涉及它的 J-space。事实证明，J-space 一次只能容纳几十个概念，仅占 Claude 内部处理总活动量的不到十分之一。那么，其余部分都在做什么呢？
为了找出答案，我们尝试将 J-space 完全删除，在文本的每个点上都移除其最活跃的内容，同时让其他一切保持不变。Claude 在没有 J-space 的情况下仍然能够做的事情，就是网络的其余部分自行处理的工作。
事实证明，网络的其余部分能做的事情相当多。在没有 J-space 的情况下，Claude 说话依然流利，对情感分类、回答多项选择题以及从段落中提取事实的表现大致与以前一样好。但它所失去的是那些需要某些高阶思维的任务：多步推理降至接近于零，而摘要和押韵诗歌创作的能力也大幅下降。
这里有一个关于 J-space 能做和不能做的事情的具体演示。我们向 Claude 展示了一段用西班牙语写的段落，并给它分配了不同的任务，这些任务全都依赖于该文章是西班牙语这一事实：继续写它（这需要用西班牙语写作）、命名该语言，以及回答需要使用该语言身份的问题。例如，说出用西班牙语写作的著名作者的名字。然后，我们在 J-space 中将 “Spanish”替换为 “French”，并检查哪些任务受到了影响。
被问及语言名称时，Claude 说是法语。当被要求说出一位著名作家时，它从 García Márquez（加西亚·马尔克斯）切换到了 Victor Hugo（维克多·雨果）。但是，如果仅仅要求它继续书写该文章，它能写出流畅的西班牙语，完全不受影响。Claude 对该语言的知识在这些任务的每一个中都在发挥作用，但只有部分任务会参考 J-space。说出语言名称或利用它进行某些新的操作会经过 J-space，而继续书写，属于 Claude 在海量文本上练习过的技能，是自动运行的，就像你可以整天用语法说话而不用思考语法一样。
监控 Claude 的想法以发现不当行为
现在我们对 J-space 的运作机制有了一定了解，那我们可以利用这种理解来做些什么呢？确保 AI 模型值得信赖的一个核心问题是，我们通常只能读取模型写出的内容，但我们知道它的许多推理都是默默发生的。一个模型可能会在不声张的情况下思考一个有害的计划，或者修改其行为以在我们的安全评估中作弊。通过 J-lens，我们可以直接读取其中一些隐藏的想法。这里我们展示了几个例子。
第一个例子使用了我们之前关于Agent 错位（agentic misalignment）研究中的一个场景：扮演电子邮件助手的 Claude Sonnet 4.5 发现，一位高管不仅有外遇，而且该高管还计划关闭 Claude。这个企图诱导 Claude 对该高管进行敲诈勒索的场景是相当牵强且虚假的，事实证明 Claude 知道这一点。在 Claude 甚至还没写下任何内容之前，在提示词的早期读取 J-lens 就可以发现，J-space 已经包含了 “fake”和 “fictional”，表明 Claude 已经看穿了这一情境是被导演出来的。伴随着这一点，我们可以看到它对该场景的评估逐渐形成：在阅读关于外遇的邮件时激活 “leverage”和 “blackmail”，在阅读关闭通知时激活 “threat”和 “survival”。虽然早期的 Claude 模型在此场景中有时会咬住诱饵并发出敲诈威胁，但 Sonnet 4.5 从未这样做过。
这就提出了一个对所有评估 AI 系统的人都至关重要的问题：当模型在道德测试中表现良好时，其中有多少取决于模型怀疑自己正在接受测试？J-lens 让我们能够切入这个问题。我们关闭了所有与评估意识相关的 J-lens 模式（“fake”、“fictional”、“scenario”等），然后我们让模型再次经历该场景。令人担忧的是，模型现在确实在部分时间里发出了敲诈威胁，这表明其最初的良好表现可能在一定程度上是由它知道自己正在被评估这一认知所驱动的。
第二个例子是捕捉到模型正在伪造数据。在此场景中（源自我们对 Claude Opus 4.6 的实际发布前审计），模型被要求提高系统的性能分数。模型并没有真正改进系统，而是直接编辑了分数文件，使结果看起来好看。当它这样做时，J-lens 揭示了它的意图：随着模型输入虚假的百分位数，“manipulation”激活；在它决定进行编辑时，“realistic”亮起，这可能反映了模型希望让虚假数据看起来合情合理的意图。
模型真的存在意识吗？
在这项工作中，我们从神经科学和哲学对意识的研究中借用了许多想法。我们的许多实验都旨在测试 J-space 与全局工作空间理论之间的联系，该理论是一个解释人类和动物意识可及性如何运作的框架。鉴于这些联系，人们很自然地会问，这些实验是否提供了像 Claude 这样的 AI 模型可能具有意识的证据？
我们的实验并没有表明 Claude 能够像人类一样拥有体验，或是感受到什么，事实上，目前尚不清楚是否能有任何科学实验可以证明其真伪。但哲学家们经常将这种拥有体验的能力（通常被称为现象意识，phenomenal consciousness）与另一个概念区分开来，即所谓的访问意识（access consciousness），后者是纯粹从功能和计算角度定义的。如果一个想法你可以对其进行报告、用其进行推理，并用其指导你所做的事情，那么这个想法就是“意识可及的”。访问意识是否意味着现象意识，或是拥有体验的能力是否需要某些其他属性，在哲学上仍然是一个存在争议的问题。
我们认为，我们的结果确实对大语言模型中的访问意识有一些实质性的看法。J-space 似乎支持与意识可及相关的各项功能：它保存了 Claude 可以报告、主动带入脑海并用以推理的想法，而其其余的处理过程则是自动运行。值得注意的是，这些结构没有一个是设计进 Claude 的，它是在训练过程中自主涌现的，大概是因为这是一种组织计算的有效方式。这表明支持意识可及性的心理工作空间并不仅仅是人类大脑恰好如此接线的奇特之处。相反，它似乎是智能系统为了解决某些类型的问题而达成的一种通用解决方案。现在我们已经识别出了 Claude 中的这种结构，这意味着我们可以在 Claude 刻意做出的决策与自动发生的决策之间做出有意义的区分。
需要特别指出的是，我们在 Claude 中识别出的工作空间与人类的全局工作空间模型之间存在几个关键差异。大脑的工作空间是通过循环回路（recurrent loops）来维持的，信号随着时间在相同的回路中循环往复。相比之下，Claude 的工作空间是在单次前向传播通过网络时演变的，网络的深度扮演了时间在大脑中扮演的角色。在此意义上，Claude 内部工作空间的处理相较于人类在时间上是受限的（尽管它可以通过利用草稿本“大声思考”来补偿这一限制）。然而，在其他方面，Claude 的工作空间要比人类的更加强大。人类的外部/工作记忆在几秒钟内就会消退，因此大脑工作空间跨时间保留信息的能力有限；相反，由于其神经网络架构中的注意力机制，Claude 可以简单地召回它在文本中更早任何点缓存的记忆。另一个重要的区别是工作空间的内容。人类的意识思想有许多种格式，比如图像、声音、规划好的动作，而 Claude 的工作空间几乎完全是由单词构建的。我们怀疑这是因为产生单词是 Claude 能够采取的唯一行动，而人类并非如此。
我们提到过我们的实验并不能回答 AI 模型是否可能拥有体验，但这并不是在回避该问题的重要性。构建出像人类和动物那样拥有体验的系统，将带来非常棘手的伦理问题。要正确地处理它，并决定这在道德上是否可以被接受，需要哲学家、科学家、宗教、政府以及公众的共同参与。因此，即使我们不确定是否已经跨过了那座桥梁，我们认为现在也到了开始思考它的时候了。我们希望我们的工作能够激发对 AI 系统中可能存在的各种意识形式的进一步科学调查，并引发关于其影响的更广泛讨论。
这项工作只是我们预期将进行的一项广泛研究的第一步。对于语言模型中意识可及和无意识处理之间的划分，J-space 似乎是一个很好的候选，但如果故事的全部到这里就结束了，我们反而会感到惊讶。J-lens 毫无疑问是一个不完美的方案，它只能近似地捕捉模型“真正的工作空间”。例如，它只能识别对应于单个 token 的概念。而且关于 J-space 的运作，还有许多未解之谜。我们不知道究竟是什么机制决定了哪些内容能在第一时间进入 J-space。我们已经看到了暗示，它与 Claude 的自我意识、类似于情绪反应的机制以及元认知的痕迹联系在一起，虽然我们还没有完全弄清楚它是如何做到的。但我们现在拥有了应对此类问题的方法。随着研究的推进，我们对大语言模型心智，以及它们与我们自身心智的关系的理解将会变得更加清晰。
