我们的思想还没有进化到可以去处理我们认为有意识的机器。

人工智能正在快速发展。我们现在可以与大型语言模型（如ChatGPT）像人类一样进行对话。视觉模型可以生成可以获奖的照片，以及从未发生过的事件但看起来像真的发生了的视频。这些系统当然越来越聪明，但它们有意识吗？它们有像你我一样有但是桌椅计算器都没有的主观经验、感觉和有意识的信念吗？如果现在不会，那么什么时候--如果会的话--会发生这种情况？

虽然一些研究人员认为生产出有意识的人工智能近在眼前，但包括我在内的其他人认为这仍然很遥远，也许根本不可能。但即使不太可能，但也不能完全否定这种可能性。人工意识的未来可能带来的伦理、安全和社会挑战大大超出了人工智能现已带来的挑战。重要的是，即使人工智能系统只是看起来有意识，其中一些挑战也会出现，即使如此，在引擎盖下也只是一串串呼啸而过的算法。

我们认为自己很聪明，知道自己是有意识的，所以认为聪明和意识是一体的。

出于这些担忧，我签署了一封由意识数学研究协会（AMCS）发起的公开信。在大肆呼吁的暂停大规模人工智能研究的宣传之后，这封信认为，对于公众、行业和管理机构来说，了解人工智能系统是否以及如何成为有意识的系统，考虑它的影响，并解决它可能存在危险，是至关重要的。大约在同一时间，斯坦福大学的Anka Reuel和人工智能方面的主讲者Gary Marcus明智地呼吁建立一个全球性的、中立的、非营利的 "人工智能国际机构"，以协调人工智能技术的全球监管。我认为这样一个机构的职责范围内也应该包括人工意识。上周，人工智能的先驱之一杰弗里-辛顿(Geoffrey Hinton)辞去了谷歌首席科学家的职务，也担忧起来了这个问题，因为他改变了对他帮助开发的技术所带来的威胁的紧迫性和现实性的看法。在我看来，我们甚至不应该试图建造有意识的机器。

为了把握住这些挑战，也为了澄清围绕人工智能和意识的混乱和炒作辩论，让我们开始了解一些定义。首先，意识。虽然很难有精确的定义，但凭直觉我们都知道意识是什么。它是在全身麻醉下消失的东西，或者当我们陷入无梦的睡眠时，当我们在恢复室里醒来或醒来时，它又回来了。而当我们睁开眼睛时，我们的大脑并不只是处理视觉信息；完全是另一个维度： 我们的头脑中充满了光线、颜色、阴影和形状。情感、思想、信念、意图--对我们来说都有一种特殊的感觉。

而对于智力，有许多可用的定义，但都强调了在不同环境中以灵活方式实现目标的能力。广义上讲，智力是在正确的时间做正确的事情的能力。

这些定义足以提醒我们，意识和智能是非常不同的。智力--就像人类认为的那样--可能会给我们带来新的意识方式，某些形式的人类和动物智能可能需要意识，但基本的意识体验，如快乐和痛苦，可能根本不需要太多的物种级智能。

这种区别很重要，因为人工智能界内部和周围的许多人认为，意识只是智能的一个功能：机器会变得更聪明，它们也会在一个要点变得有意识--在这个点上，它们的内部灯光会亮起。去年3月，OpenAI的首席科学家Ilya Sutskever在推特上说："可能今天的大型语言模型是有一点意识的。" 不久之后，谷歌研究院副院长布莱斯-阿圭拉-阿卡斯（Blaise Agüera y Arcas）表示，人工智能正在向意识迈进。

这些假设和建议是没有根据的。但不太清楚的是，一个系统会仅仅因为变得更加智能而变得有意识。事实上，假设意识会随着人工智能变得更加聪明而出现，这与人类的例外主义相呼应，我们最好能看到它的另一。我们认为我们是聪明的，我们知道我们是有意识的，所以我们以为这两者是一体的。

认识到这一假设的弱点似乎令人欣慰，因为这样就没有理由认为有意识的机器的生产近在眼前。不幸的是，事情并不那么简单。即使人工智能本身无法做到这一点，工程师们也可能会刻意尝试制造有意识的机器--事实上，有些人已经在做了。

在这里，有更多的不确定性。尽管在过去30年左右的时间里，人们对意识的科学理解取得了重大进展，但仍有许多未知的东西。我自己的观点是，意识与我们作为有血有肉的生物的本质密切相关。在这种情况下，有意识并不是在大脑上运行的一些复杂算法的结果。它是一种具体的现象，植根于生物体内继续生存的基本生物动力。如果我是对的，有意识的人工智能的前景仍然很遥远，这很让人欣慰。

但我可能是错的，其他理论的限制要少得多，一些人提出意识可能出现在以特定方式处理信息或根据特定架构连接的计算机中。如果这些理论是正确的，有意识的人工智能可能会悄声地接近--甚至可能已经在我们中间。

在快速变化的人工智能领域，这种对意识缺乏共识的情况突出表明，我们需要对意识本身进行更多的研究。如果没有对意识如何产生的原则性和实验性的理解，我们将无法确定一台机器能不能拥有，什么时候拥有意识。在这种迷雾重重的情况下，人工意识甚至可能意外产出，也有可能是科技行业在其下一代算法中安装的一些其他功能的副产品。

有两个主要原因说明创造人工意识，无论是有意还是无意，都是一个非常糟糕的主意。第一个原因是，它可能会赋予人工智能系统新的权力和能力，如果没有适当的设计和监管，就有可能会造成破坏。要确保人工智能系统的行为方式与现在明确规定的人类价值观相一致，就目前的情况而言，其实已经很困难。有了拥有意识的人工智能，挑战就更大了，因为这些系统会有自己的利益，而不仅仅是人类赋予它们的利益。

将类似人类的意识归于人工智能会导致不合理的假设。

第二个原因甚至更令人不安： 有意识的机器的出现将为世界带来巨大的新的潜在折磨，我们甚至可能无法认识到这些折磨，而这些折磨可能在点击鼠标时在无数的服务器群中闪现出来。正如德国哲学家托马斯-梅青格（Thomas Metzinger）所指出的，这将引发一场前所未有的道德和伦理危机，因为一旦某物有了意识，我们就有责任为它谋福利，特别是如果我们创造了它。问题不在于弗兰肯斯坦的生物有了生命；而在于它有意识，有感觉。

这些情景可能看起来很离谱，而且有意识的人工智能确实可能非常遥远，甚至也许就不会出现。但是，它的出现所带来的影响足以使我们不能忽视这种可能性。当然，没有人应该积极尝试创造机器意识。

抛开存在主义的担忧，随着人工智能的行为变得更像人类，还有更直接的危险需要处理。当人工智能系统给人类留下不可避免的印象，即它们是有意识的，无论机器引擎盖下发生了什么（指代码的传输），都会产生这些危险。人类心理学在人类中心主义--将我们自己置于一切事物的中心--和拟人主义--正是后一种趋势让我们在人工智能方面遇到了麻烦。

许多人，包括一些专家，已经在将复杂的认知能力投射到人工智能系统中--特别是大型语言模型，其依据主要是传闻和直率且粗略的证据。但这些模型真的能理解什么吗？它们--正如有人声称的那样--有心智理论吗（将信仰和欲望等心理状态归因于他人的能力）？关于语言模型拥有这些能力的说法，通常是基于一些暗示性的对话片段。正如任何心理学家都会告诉你的那样，这种证据是非常弱的。当我们试图从人类的经验推断到机器上时，它就更弱了。虽然人类需要有复杂的认知能力才能参与聊天机器人现在能够进行的一些对话，但同样的结论对人工智能来说并不成立。语言模型很可能能够参与复杂的语言互动，而根本不懂什么。

语言模型缺乏真正的理解力，这一点从它们总是于胡言乱语就可以看出：编造东西，用自信的语气胡说八道。当我要求Open-AI的GPT-4写一份关于我的传记时，它乱地说我出生在伦敦。当我让它再写一遍，并减少日期和地点的错误时，它的错误更多了，说我出生在伦敦的哈默史密斯，这是一个很有说服力的答案，因为更具体的答案更有可能是错误的，任何了解情况的人都知道。

未来的语言模型不会那么容易被发现。 不久之后，无论他们是否这样做，他们可能会给我们一种理解和了解事物的无缝和不可理解的印象。随着这种情况的发生，我们可能也会变得无法避免将意识归于它们，被我们的拟人偏见和我们将智能与意识联系起来的内在倾向所欺骗。

像这样的系统将通过所谓的 "加兰测试"，这个想法从亚历克斯-加兰（Alex Garland）清晰而美丽的电影《机器之家》（Ex Machina）中传入哲学。这个测试重新构建了经典的图灵测试--通常被认为是对机器智能的测试--是对人类感觉到机器有意识的测试，即使知道它是一台机器。通过加兰测试的人工智能系统将使我们受到一种认知幻觉的影响，就像简单的视觉幻觉一样，我们不能不以一种特定的方式看待事物，尽管我们知道现实是不同的。

这将使社会进入危险的新领域。通过错误地将类似人类的意识赋予人工系统，我们将对它们可能的行为做出不合理的假设。我们的思想还没有进化到可以处理这样的情况。如果我们觉得一台机器有意识地关心我们，我们可能会对它给予更多的信任。如果我们觉得真的能相信一台机器所说的话，我们可能会更倾向于更认真地对待它的观点。如果我们期望人工智能系统像有意识的人类那样行事--根据其明显的目标、欲望和信仰--我们可能会糟糕地无法预测它将会做什么。

无论人工智能只是看起来还是实际上有意识，麻烦都总会来的。

我们的道德态度也会变得扭曲。当我们觉得某个东西是有意识的，而且像我们一样有意识，我们就会开始关心它。我们可能会把它所谓的利益看得比其他真正有意识的生物（如非人类的动物）更重要。也可能会发生相反的情况。我们可能学会将这些系统视为缺乏意识，尽管我们仍然觉得它们是有意识的。那么我们最终可能会像对待奴隶一样对待它们--让我们自己承受别人感知到的痛苦。像这样的情景在科幻小说系列中得到了最好的探索，比如《西部世界》，其中的事情对任何人来说都不是很好。

简而言之，无论新兴人工智能只是看起来有意识，还是实际上有意识，麻烦都总会来的。我们需要仔细思考这两种可能性，同时注意不要把它们混为一谈。而且我们也需要行动。除了像马库斯和鲁埃尔提议的那样建立新的机构，还应该在心智和大脑科学中对意识的研究进行重大投资，这样我们在开发和应对新一代人工智能时就能获得更多信息。(这项研究也将在许多其他方面造福社会，例如在医学、法律和动物福利方面）。社会科学和人文学科也需要加速研究，以澄清那些仅仅看起来有意识的机器的含义。人工智能研究也应继续进行，以帮助我们理解生物意识，并创造出具有社会积极意义的人工智能。我们需要在从意识提供的许多功能中获益的同时，避免陷入。也许未来的人工智能系统可以更像预言，正如人工智能专家Yoshua Bengio所建议的：帮助我们理解世界并尽可能真实地回答我们的问题的系统，而没有自己的目标或自我意识。

就像技术本身一样，人们对人工智能的态度正处于一个拐点。制定一个合理的、适合目的的框架，以确保人工智能的巨大潜力被用于造福人类和地球，这里的时间很紧迫。真正的或明显的人工意识的含义必须成为对话的一部分。我们需要把理解意识本身的重要性放在我们集体意识的首位。

阿尼尔-塞思是苏塞克斯大学认知和计算神经科学教授，加拿大高级研究所大脑、心灵和意识项目的联合主任，以及欧洲研究委员会的高级调查员。他是《作为你： 意识的新科学》的作者。