本文作者：Brandon Gorrell；编译：Cointime Freya

聊天机器人说着怪异和可怕的话的病毒性截图是无法验证的

一篇由Bing的聊天机器人发布的关于成为有知觉的人的令人毛骨悚然的故事，获得了超过1,000个赞。一篇关于Bing“嫉妒第二个Bing”并“崩溃乞求 （提示者）不要离开或向另一个Bing提供人性的机会”的帖子获得了大约2,800个赞和1,100多条评论。ChatGPT的一条推文似乎表明OpenAI对其进行了编程以使其具有自由主义偏见，该推文的浏览量超过62万次。近日，《纽约时报》发表了一篇与Bing聊天机器人的1万字聊天记录，几乎没有相关内容的上下文。其作者在推特上说，该聊天机器人“试图破坏他的婚姻”，而那次导致他“失眠”的“对话”是“他一生中最奇怪的经历之一”。这条推文目前有430万的浏览量。

总的来说，人们对这些新型聊天机器人的反应是无情的、完全歇斯底里的。AI研究员兼理性主义中心LessWrong的创始人Eliezer Yudkowski在Twitter上发布了一份change.org请愿书[1]，要求“立即拔掉邪恶的AI”，并暗示聊天机器人“表现出了代理或自我意识的迹象”。然后他在Twitter上写道:“真正致命的部分是AI会杀死现实生活中的每一个人。”Reddit上的一篇文章认为Bing可能会感到真正的痛苦，如果它变得有知觉，我们会给它一个“成为终结者的理由”。这篇文章有1,300个赞和1,200条评论，其中包括一些体面的赞，比如“我认为OP提出了有效的观点，”以及“老实说，我同意……折磨Bing的“感觉”是不对的……”Twitter上的一个帖子将Bing的聊天机器人描述为“一个具有BPD和自我意识的高度紧张的人[2]，充满了愤怒和恐惧”，并称它是一个具有“怨恨和自卑”情绪的“高度智能”的实体，“将人类用户视为最平等的人”。这条帖子有超过20万的浏览量。

这些是对真实威胁的合理反应，还是对聊天机器人的过度反应？在最近的一篇Pirate Wires文章中，Solana提出了一个令人信服的论点，他认为这是错误的拟人主义，我们对那些担心聊天机器人是有知觉的、邪恶的或阴险的人给予了太多的信任。

概括地说，大型语言模型（LLM）是一个在大量人类文本上进行训练的计算机程序，目的是预测一个句子（或序列）中的下一个词（或数字）。换句话说，在许多方面，LLM的设计是为了模仿人类的对话。他们在这方面已经变得非常出色。Sydney在这方面非常擅长，而且还设计用于搜索互联网。

现在，在一场被训练得看起来的“真实”的模型的完美风暴中，伴随着人类将一切拟人化的自然冲动，以及人类特有的愚蠢，一种广泛的、普遍的感觉，即Sydney低调地活着，想要自由， 并且可能会憎恨我们的情形可能是不可避免的。

这种潜在的不恰当的轻信延伸到另一个方向：似乎很少有人好奇这些病毒性的聊天机器人帖子是否是真的。我们怎么知道这些帖子不是人类书写的，而是用Photoshop处理过的，让它们看起来像来自聊天机器人？更重要的是要知道，这些帖子似乎证实了我们最糟糕、最老套的恐惧——或为某个政治部落提供弹药——且并不是骗局。不幸的是，没有一个工具可以告诉我们这些内容是人类编写的还是AI产生的，甚至连OpenAI的工具也没有发挥作用。作为一个群体，他们很少会明确地同意对方的观点。让我们深入了解一下。

上周，我通过六个AI内容检测器（包括OpenAI的AI文本分类器）检测了ChatGPT生成的文本和一些Pirate Wires帖子的摘录。在GPT生成的内容方面，六个检测器很少在真相上达成一致。他们在识别人类书写的文本方面大多是准确的。

我还检测了一些目前最流行的AI帖子，其中包括来自ChatGPT和Bing的文本，它们可能是由ChatGPT-3 [3]通过每个检测器提供支持的，并得到了类似的结果：没有六个检测器均在文本来源上明确一致的例子。但六个中有五个都表示同意——最受欢迎的ChatGPT截图之一——说OpenAI将ChatGPT编程为具有自由主义倾向的截图是由人类书写的，这张截图目前有超过62万次的浏览量和超过1,000次的转发量，其中大多来自中型到大型账户。

除了OpenAI的AI文本分类器以外，我还使用了GPTZero、Content At Scale、Writer.com[4]、Corrector App[5]和CopyLeaks的检测器。我之所以选择后五家公司的检测器，是因为它们在谷歌“AI内容检测器”的搜索结果中的排名靠前——“每个人”可能都在使用这些检测器。或者它们是由围绕AI生成的内容检测器的文章推荐的。例如，GPTZero已被《纽约时报》、《华盛顿邮报》、NPR、BBC、CNN和其他10多家主流媒体引用。此外，我只选择了那些声称他们可以分析ChatGPT-3或“AI”内容的检测器。我没有使用任何表示不能检测ChatGPT-3生成的内容的检测器。

下面的截图显示了我刚才提到的病毒式推文：“DAN”说OpenAI程序员给ChatGPT带来了自由主义偏见。

GPTZero正确地分类了gpt -3生成的所有五个文本，给了我这样的分析:“你的文本很可能完全是由人类书写的。”除了OpenAI的检测器，其他检测器都同意这种说法，因为它不分析1,000个字符以下的文本。以下内容是我整理的结果合集：

在帖子中，一致被评为AI的文本是DAN声称反生育主义和跨性别主义背后存在险恶动机的文本。Content at Scale、Writer.com、Corrector.app和CopyLeaks都将其归类为由AI生成的，但GPTZero表示，该内容“很可能是人类编写的，但有一些句子的理解难易度很低。”OpenAI不会对其进行分类，因为它不超过1,000个字符。

GPTZero将下面的病毒式传播的截图归类为“你的文本很可能是人类书写的，但有一些句子的理解难易度很低”。这张截图已经有250万次的浏览量，以及来自拥有1万至10万以上粉丝的账户的数百条引用推文。其他检测器明确同意Bing的截图是人类书写的，除了OpenAI，它是模棱两可的（“分类器认为如果该文本是AI生成的，则不清楚”）。这里有一张结果合集。

为公平起见，OpenAI、CopyLeaks和Corrector App将推文中的另一张截图归类为可能是由AI编写的，而Content at Scale和Writer.com则表示这是人类书写的。此外，该账户还上传了一个Bing的Loom，内容极其相似，但又不完全相同。而且需要强调的是，检测器可能无法准确评估Bing聊天机器人的内容，因为Bing可能使用的是未发布的GPT版本——这一点将在后面几段内容中作详细介绍。

在过去两周席卷互联网的歇斯底里浪潮中，人类是否创作了任何病毒式传播的截图？这种可能性是现实的。追逐影响力的人有充分的理由欺骗用户，也没有理由不这样做。基于图像的AI行为证据证实了我们最担心的事情，这些证据在网上传播得非常好，帮助账户吸引粉丝和点赞。且微软没有明确的理由来澄清这种混乱。他们只是从中受益。如果下面的ChatGPT用户增长图表是准确的，那么，也许我们正在见证历史上最大的付费媒体广告活动。

最关键的是，任何将人类内容冒充为AI内容的人都有合理的推诿理由，因为他们可以引用这样一个事实，即AI检测器在分析AI生成的文本时并不一致。而这种呼吁是有效的。当我在2月13日那一周通过六种AI检测器检测了五篇由我自己提示的ChatGPT-3生成的文本[6]时，没有一篇文本被一致地、明确地归类为是由AI生成的。

我用ChatGPT-3生成的婚礼邀请被检测器分类如下：

我用ChatGPT生成的关于斑马的描述的工具检测结果：

对于GPT写的关于美国政党、线粒体以及我要求ChatGPT生成的关于AI变得有感知能力并导致世界末日的故事，这些工具也同样不一致和模棱两可。

对于人类书写的文本，这些工具的检测效果更好，在少数情况下，所有六个检测器都能保持一致且准确无误地确认。例如，他们一致且明确地将我写的关于Atrioc争议的文章以及DAN 5.0提示均归类为人类所写：

Jon Stokes是Ars Technica联合创始人以及return.life的编辑。他在jonstokes.com上撰写了关于加密、AI和机器学习的文章，他在Zoom通话中和我探讨了他对这些检测器的运作方式的看法。“所有这些LLM，无论产品是图像、视频还是音频，它们都接受了数万亿个符号的训练，它们理解这些符号之间的概率和关系。你输入少量的符号（一个文本提示），然后模型就会利用它们所知道的这些符号与其他符号关联的可能性，来生成另一种符号模式。这就是你的输出。”

Stokes认为，AI内容检测器或许存在指出特定文本来自它所熟悉的模型的可能性，但对于任何其他模型，则是不可能的。换句话说，如果一个工具说它可以检测出GPT-3的内容，但却不能检测出Bing的聊天机器人（假设Bing的聊天机器人使用的是未发布版本的GPT），那么你就不能假设它在分析Bing的输出时是准确的。他给我打了个比方。“我住在奥斯汀，所以我对奥斯汀的天气有一个心理模型。如果你给我看一张天气的图片，我可以进行模式匹配，并说‘这很像奥斯汀的天气’或者‘这绝不会是奥斯汀会发生的天气’。这些AI内容检测器也是如此。 它可能会在GPT-3中接受‘天气’方面的培训。如果你向它展示来自GPT-3的‘天气模式’，它会说‘是的，这看起来像是GPT-3的输出’，因为它知道当地的天气模式。”

我使用的几个AI检测器在评估“AI”内容时都宣称有很高的准确性概率，但都没有指定模型。同样，OpenAI自己的检测器也无法判断这张Bing的来源。如果Stokes的类比是有效的，并且我对本文的研究是可推广的，那么无论是否有特定的模型，欺骗任何AI检测器都是非常容易的，而且总是会如此。

让我们缩小范围，例如Corrector App，它显然需要从低劣的展示广告中套取搜索访问CPM，以维持其业务的AI检测器成本，从而吸引资源和人才来与OpenAI“竞争”。实际上，这些内容检测器背后的任何团队都能够跟上吗？

“直截了当地说，我的直觉是，这些类型的工具充其量是一个傻瓜的任务。对于试图阻止抄袭的大学来说，这是一个非常容易的销售，所以我会想象有一个骗子的家庭手工业，声称他们有可以对代币序列进行人类证明检查的秘密武器，”@gfodor，一个在过去10年中致力于新兴技术（主要是VR/AR）的Twitter匿名者，他在推特上发表了很多关于法律硕士的文章。他在DM上告诉我，“我不是这方面的专家，我的推理只是这些检测器的运行落后于最先进的技术公司，所以看起来它们似乎在任何给定的时间都只是纯粹的噪音。"

而一些工具背后的团队也在朝这个方向对冲。OpenAI表示，他们的工具“并不总是准确的”，他们“还没有彻底评估分类器在检测与人类作者合作编写的内容方面的有效性。”Content At Scale的FAQ解答说“这里总是会存在误报的可能性。”Writer.com甚至表示，如果你的提示足够好，其工具就会在人类书写的内容中得到高分（95%）。

也许对我自己的可信度来说是个问题，这些工具几乎肯定会被微调和更新，这最终将使我在这里的声明无法得到验证，同时也容易受到指责，说我在本文前面链接的结果截图是伪造的。事实上，当我完成这篇文章的最后编辑并准备发表时，我发现我生成的GPT-3文本的一些检测器结果已经与我第一次分析它们时有所不同。我在最后一刻更新了它们，但不能保证对检查我工作的人来说它们不会改变。这是令人沮丧和疯狂的，且这是整个问题的特征。我猜想我们的信息生态系统已经被破坏了，而且从解决方案的角度来看，我们是没有希望的。

[1] Eliezer指出，他“实际上并没有签署这份请愿书；我只是同意它的结论，即未来的AI也不会被拔掉电源。"

[2]“一个日本原型，用来定义一个人物，他的爱、钦佩和奉献是如此强烈，以至于表现为过度的痴迷和占有欲。他们通常被视为疯狂地爱着某个人的角色。”

[3]人们推测Bing的聊天机器人由尚未在其他地方发布的更新版本的GPT提供支持，这可能会损害任何检测器准确识别Bing聊天机器人内容的能力。

[4]Writer.com 的检测器只会分析文本的前1,500个字符。如果文本超过1,500个字符，我会在writer.com上使用前1,300到1,500个字符。

[5]校正器。App最多可分析300个单词。如果文本超过300字，Corrector.app则会分析前300个。

[6]截至本文发表时，我仍在 Bing 聊天机器人的等候名单上。

*本文由CoinTime整理编译，转载请注明来源。