人工智能检测器称《独立宣言》98% 是人工智能生成的

当人工智能检测器无法识别标志性文本时，就会引发对其可靠性和风险的质疑。

骗子们，小心了--人工智能探测器会当场抓住你和你的聊天机器人。

或者说，至少人工智能开发者是这样把它作为卖点，并希望我们相信它的。当 ChatGPT 在 2022 年进入文化潮流时，教师和教授们对人工智能生成的研究论文和家庭作业的激增表示反对。为了遏制人工智能在课堂上的使用，教育工作者一直在使用人工智能检测器，这些检测器声称可以区分人工智能撰写的文本和人类撰写的文本。

但这些工具的准确性如何呢？总部位于波士顿的营销分析公司 Trust Insights 首席数据科学家克里斯托弗-潘认为，"人工智能检测器就是个笑话"。他测试过的一款人工智能检测器声称，《美国独立宣言》序言中有 97.75% 是人工智能生成的。

"让我开始测试人工智能检测器的原因是，我看到同事们来来回回地争论一段内容是否是人工智能生成的，"佩恩告诉《解密》。"我在 LinkedIn 上看到过这种情况；有些人互相指责，说某某是个懒惰的营销人员，走了捷径，直接使用了人工智能。"

斗嘴？也许吧。佩恩说："我们也许应该测试一下，以了解这种说法是否属实。"

佩恩决定使用《独立宣言》测试几种人工智能探测器，结果令他大失所望："我认为它们很危险，"他这样评价这些探测器。"它们不成熟，而且有害。"

"他说："这些工具被用来做一些事情，比如取消学生的资格，让他们留校察看或停学。这 "是一种非常高风险的应用，因为在美国，大学教育每年需要数万美元"。

我们决定自己做一个测试，看看这些网站的表现如何。在第一次测试中，我们使用了与宾夕法尼亚州立大学使用的《独立宣言》相同的节选，以确定哪些检测器错误地认为文本是人工智能生成的。在第二个测试中，我们从 E.M. Forrester 1909 年的科幻短篇小说《机器停止》中摘录了一段文字，让 ChatGPT 对其进行改写，看看哪个检测器能识别出这段文字是人工智能编写的。以下是我们的结果：

使用佩恩使用的相同文本，我们比较了几种人工智能检测器：Grammarly、GPTZero、QuillBot 和 ZeroGPT，即 Penn 在 LinkedIn 上展示的人工智能检测器。

在接下来的测试中，我们通过 ChatGPT-4o 对 "The Machine Stops "进行了重写 ，看看人工智能检测器能否发现伪造的文字 。

"Grammarly将继续深化其在评估文本原创性和负责任地使用人工智能方面的专业知识，"Grammarly发言人告诉Decrypt，并指出了该公司关于其人工智能检测软件的一篇文章。

"该公司表示："作为我们对负责任地使用人工智能的承诺的一部分，我们在原创性功能中增加了人工智能检测功能。"我们优先考虑给我们的用户，尤其是学生，提供尽可能多的透明信息，尽管这项技术有其固有的局限性"。

Grammarly 发言人还强调了该公司的最新更新--Grammarly Authorship，这是一个谷歌 Chrome 浏览器扩展，用户可以通过它展示文档中哪些部分是人为创建的，哪些是人工智能生成的，哪些是人工智能编辑的。

"GPTZero首席技术官亚历克斯-崔（Alex Cui）告诉《解密》："我们建议不要使用人工智能检测结果来直接惩戒学生。"我认为它作为诊断工具很有用，但需要我们的作者工具才能真正解决问题。"

与 Grammarly 一样，GPTZero 也有一个 "作者身份 "工具，Cui 建议将其用于验证未来提交的内容是否由人类撰写。

"他说："我们在 Google Docs 中的写作报告和我们自己的编辑器会分析文档上的打字模式，以确定文档是否由人工撰写，从而大幅降低得出错误结论的风险。

崔永元强调了在不同数据集上持续训练人工智能模型的重要性。

"他说："我们使用大型自然语言处理（NLP）和机器学习模型，这些模型是在由数百万人工智能和人类生成的文档组成的数据集上训练出来的，并在发布前经过测试以达到低误差。"我们将检测器调整到误报率低于1%，然后才全面推出，以降低误报风险。"

佩恩指出，盲目依赖人工智能检测器来发现抄袭和作弊行为与依赖人工智能来撰写基于事实的报告一样危险。

"我对任何考虑使用这些工具的人提出的警告是，对于任何关键任务或高风险应用来说，它们的假阳性率都高得令人无法接受，"佩恩说。"假阳性率--如果你要把某人踢出大学或吊销其博士学位--必须为零。就这样。说完了。如果教育机构进行了如此严格的测试，他们很快就会发现市场上没有一种工具是他们可以购买的。但这就是需要发生的事情"。

值得庆幸的是，这篇文章中只有 5% 的内容是人工智能生成的。

ZeroGPT 和 Quillbot 没有立即回应置评请求。

编辑：安德鲁-海沃德

More News

• All
• CT
• Coindesk
• Decrypt
• DLNews