原文链接：Pausing AI Developments Isn't Enough. We Need to Shut it All Down 

本文作者：Eliezer Yudkowsky  编译：CoinTime Candice

3月29日发表的一封公开信呼吁“所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，至少6个月。”

这6个月的暂停期总比没有暂停要好。我尊重每一个站出来签名的人。这是一个进步。

我没有签名，因为我认为这封信低估了情况的严重性，对解决这个问题的要求太少。

关键问题不是“人类竞争性”的智能（正如公开信所说）；这是在人工智能变得比人类更聪明之后会发生的事情。那里的关键门槛可能并不明显，我们肯定无法提前计算出什么时候会发生什么，而且目前似乎可以想象，一个研究实验室会在不知不觉中越过关键界限。

包括我在内的许多研究这些问题的研究人员预计，在目前的情况下，构建超人类的智能AI最有可能的结果是，地球上的每个人都会死亡。不是说“也许有一个遥远的机会”，而是说“这是显而易见的事情”。原则上，并不是说你不能创造出比你更聪明的东西；这需要精确、准备和新的科学见解，而且可能没有由巨大的难以理解的分数数组组成的人工智能系统。

如果没有这种精确性和准备，最有可能的结果就是人工智能不做我们想做的事，不关心我们，也不关心一般有生命的生活。这种关怀原则上是可以灌输到人工智能中的，但我们还没有准备好，目前也不知道如何做。

如果没有这种关心，我们就会得到“人工智能既不爱你，也不恨你，你是由它可以用来做其他事情的原子组成的。”

人类面对一个对立的超人类智能的可能结果是彻底失败。有效的比喻包括“一个10岁的孩子试图与Stockfish 15下棋”、“11世纪试图对抗21世纪”和“Australopithecus试图对抗Homo sapiens”。

要想象一个敌对的超人类人工智能，不要想象一个没有生命的书呆子，居住在互联网中并发送着恶意的电子邮件。想象一下完整的外星文明，以百万倍于人类速度思考，最初被限制在计算机中（在一个对于它来说非常愚蠢和非常缓慢的生物世界中）。一个足够智能的人工智能不会长期局限于计算机。在当今世界，你可以通过电子邮件将DNA字符串发送给实验室，以便按需生产蛋白质，使最初局限于互联网的人工智能能够构建人工生命形式，或直接引导到生物后分子制造。

如果有人建立了一个过于强大的人工智能，在目前的条件下，我预计人类物种的每一个成员和地球上所有的生物都会在不久后死亡。

目前还没有关于我们如何做这样的事情并生存下去的计划。OpenAI公开宣称的意图是让一些未来的人工智能做我们的人工智能调整作业。仅仅听到这个计划就足以让任何理智的人感到恐慌。另一个领先的人工智能实验室DeepMind，还根本没有计划。

顺便说一句：这些危险并不取决于人工智能是否有意识或能否有意识；它是强大的认知系统概念的内在因素，这些系统会努力优化，并计算出符合足够复杂的结果标准的输出。有必要再提一下，我们不知道如何确定人工智能系统是否意识到自己，因为我们不知道怎样解码巨大的神秘阵列中发生的事情，因此我们可能会在某个时候无意中创造出真正有意识的数字思维，这些思维应该拥有权利，而不应该被拥有。

大多数意识到这些问题的人在50年前都会支持这样一条规则，即如果一个人工智能系统能够流利地说话，并且说它有自我意识，要求享有人权，这应该是对人们随意拥有该人工智能和使用它的硬性规定。这可能是正确的；我同意目前的人工智能可能只是在模仿他们训练数据中关于自我意识的说法。但我要指出的是，由于我们对这些系统的内部了解甚少，我们实际上并不清楚。

如果这是我们对GPT-4的无知状态，而GPT-5是从GPT-3到GPT-4相同大小的巨大能力阶梯，我认为如果我们让人们制造GPT-5，我们将无法再理直气壮地说“可能没有自我意识”。这只是“我不知道；没人知道。”如果你不能确定自己是否在创造一个有自我意识的人工智能，这是令人担忧的，不仅因为“有自我意识”部分的道德含义，还因为不确定意味着你不知道自己在做什么，这很危险，你应该停止。

2月7日，微软首席执行官Satya Nadella公开表示，新的必应将让谷歌“站出来展示他们会跳舞”。他说：“我想让人们知道是我们让新必应会跳舞的”。

在一个理智的世界里，微软首席执行官不是这样说话的。它显示了我们对这个问题的重视程度与30年前开始我们需要对这个问题的重视程度之间存在着巨大的差距。

我们不可能在六个月内弥补这一差距。

从人工智能的概念首次被提出和研究，到我们达到今天的能力，花了60多年时间。解决超人类智慧的安全——不是完美的安全，而是在“不是杀死所有人”意义上的安全——可能需要至少一半的时间。用超人类的智慧尝试这一点的问题是，如果你第一次尝试就错了，你就无法从错误中吸取教训，因为你已经死了。人类不会像我们历史上克服的其他挑战那样，从错误中吸取教训，掸去身上的灰尘再试一次，因为我们都已经死了。

在科学和工程领域，试图在第一次真正关键的尝试中把事情做好是一个非同寻常的要求。我们没有采取任何类似于成功的方法来做这件事。如果我们把人工通用智能这一新生领域的东西，都以用于承载几千辆汽车的桥梁的较低的工程严格标准来要求，那么整个领域明天就会被关闭。

我们没有做好准备。我们没有在任何合理的时间窗口内做好准备。没有任何计划。人工智能能力的进展，远远领先于人工智能调整方面的进展，甚至领先于了解这些系统内部到底发生了什么的进展。如果我们真的这样做，我们都会死的。

许多研究这些系统的研究人员认为，我们正朝着一场灾难坠落，他们中更多的人敢于在私下里说，而不是在公开场合；但他们认为，他们无法单方面阻止向前坠落，即使有人辞职，其他人也会继续下去。因此，他们都认为自己还不如继续下去。这是一种愚蠢的情况，也是地球的一种不体面的死亡方式，人类其他人应该在这一点上介入，帮助这个行业解决其集体行动问题。

我的一些朋友最近向我报告说，当人工智能行业以外的人第一次听说人工通用智能的灭绝风险时，他们的反应是“也许我们不应该建立AGI。”

听到这个消息让我看到了一丝希望，因为这是比我在过去20年里试图让行业里的认真对待事情时，听到的更简单、更理智、更坦率的反应。任何这么理智地说话的人都应该听到情况到底有多糟，而不是被告知六个月的暂停期就能解决这个问题。

3月16日，我的合伙人给我发了这封电子邮件。（她后来允许我在这里摘录。）

“Nina掉了一颗牙！像孩子们通常会掉牙那样，而不是因为疏忽大意！看到GPT4在同一天轻松通过标准化测试，同时Nina又达到了一个童年的里程碑，让我感到情绪激动，让我有一分钟几近恍惚。一切都发生得太快了。我担心分享这个会加剧你的悲伤，但我宁愿让你知道，也不想我们每个人都独自承受。”

当内部对话是关于看到女儿掉了第一颗牙，认为她没有机会长大，我相信我们已经超越了关于六个月禁令的政治博弈点了。

如果有一个让地球生存的计划，只要我们通过六个月的暂停，我就会支持这个计划。但还没有任何这样的计划。

以下是实际需要做的事情：

暂停新的大型训练需要是无限期的，而且是全球性的。不能有任何例外，包括政府或军队。如果这项政策是从美国开始的，那么中国需要看到，美国不是在寻求优势，而是试图阻止一种可怕的危险技术，这种技术可能没有真正的主人，会杀死美国、中国和地球上的所有人。如果我有起草法律的自由，我可能会为人工智能留出一个例外，让人工智能仅仅被训练来解决生物学和生物技术方面的问题，而不是被训练来处理互联网上的文本，达到开始说话或计划的程度；但如果这让问题变得复杂，我会立即放弃这个提议，说把它全部关掉。

关闭所有大型GPU集群（提炼出最强大人工智能的大型计算机农场）。停止所有大型训练。对任何人在训练人工智能系统时可以使用的计算能力设定上限，并在未来几年内将其向下移动，以补偿更高效的训练算法。政府和军队也不例外。立即达成多国协议，防止被禁止的活动转移到其他地方。跟踪所有售出的GPU。如果情报显示协议之外的国家正在建设GPU集群，那么与其说害怕国家之间的枪击冲突，不如说害怕暂停令被违反；甚至愿意通过空袭摧毁一个流氓数据中心。

不要把任何事情说成是国家利益之间的冲突，要清楚任何谈论军备竞赛的人都是傻瓜。在这一点上，我们都是生死一体的，这不是一项政策，而是一个自然的事实。在国际外交中明确指出，防止人工智能灭绝的情况被认为是比防止全面核交换更重要的事情，如果需要这样做来降低大规模人工智能训练的风险，盟国愿意承担一些核交换的风险。

这种政策的改变会让我和我的伙伴抱在一起，对彼此说奇迹发生了，现在或许Nina有机会活下来了。那些第一次听到这个消息并表示“也许我们不应该”的理智的人，老实说，应该听听发生这种情况需要什么。当你的政策要求如此之大时，唯一的办法就是让决策者意识到，如果他们照常行事，做政治上容易的事情，那意味着他们自己的孩子也会死。

关闭这一切。

我们还没有准备好。在可预见的未来，我们还没有做好充分准备。如果我们继续这样做，每个人都会死，包括那些没有选择这样做、没有做错任何事的孩子。

*本文由CoinTime整理编译，转载请注明来源。