如何判断文本是否由AI撰写（以及检测器为何会失灵）

无论是仅凭阅读还是借助检测器，都无法确定一段文本是否由AI撰写。文风特征和检测器分数只是表明文本与机器输出相似的信号，并不能证明作者是谁。公平的判断需要把这些信号与写作过程的证据结合起来，例如草稿、版本历史以及与作者的交流。

AI撰写文本的文风特征

大语言模型通过不断选择可能性较高的下一个词来生成文本。经过微调后，它们倾向于给出礼貌、平衡且完整的回答。其结果带有一种容易辨认的“固定文风”，在用户不加修改、直接采用第一个回答时尤其明显。

用词与措辞

• 偏爱的词汇。某些词在聊天机器人的输出中出现的频率远高于日常写作：“delve”“tapestry”“testament to”“pivotal”“seamless”“robust”“landscape”“navigate the complexities”。
• 路标式短语。“It's important to note that”“In today's digital age”“When it comes to”“In conclusion”和“Overall”被当作自动过渡语使用。
• 处处留余地。每个论断都被弱化，每个论点之后都跟着一句“however, it is also worth considering”。文本很少表明明确的立场。
• 三项并列的句式。三个形容词或三个并列分句的组合，一段接一段地重复出现。

结构

• 节奏千篇一律。句子和段落长度相近，每段都以主题句开头，并以一句小结收尾。
• 到处都是标题和项目符号，即使在用连贯段落行文更自然的场合也是如此，比如个人陈述或电子邮件。
• 总结式结尾，只是重复引言的内容，没有任何新意。

内容

• 缺少具体信息。没有可以核查的姓名、日期、地点、数字或个人经历，或者细节听上去合理却含糊不清（“a recent study found”）。
• 自信满满的错误。捏造的参考文献、错误的日期或根本不存在的引文。我们的AI幻觉指南对此有详细介绍。
• 与作者本人不符。文字精致却泛泛，而此人的其他作品在语气、拼写习惯或细节程度上与之大不相同。

这些特征都不是决定性的。很多人写作很正式，也习惯使用项目符号；公司、法律和学术文体本来就是套路化的。而且，细心的用户可以通过提示词让模型避开所有这些习惯。请把文风特征当作需要进一步细看的理由，而不是证据。

AI检测器如何工作

自动检测器大致分为三类。

基于分类器的检测器

分类器是一种神经网络，通常是经过微调的Transformer模型（如RoBERTa），使用大量带标签的人类文本和机器文本样本训练而成。它会学习训练数据中区分这两类文本的统计差异，并输出新文本属于“AI”类的概率。这类检测器对与训练数据相似的文本较为准确，对新模型、特殊体裁或其他语言则较弱。

我们的AI检测器就属于这一类。它使用在RAID基准上训练的开源RoBERTa模型（RAID是一个大型研究数据集，涵盖多种生成器和领域的人类文本与机器文本），并在第一个模型的分数处于临界值时，参考在HC3数据集上训练的第二个模型。它在浏览器中运行，因此文本不会被上传。

基于困惑度的（零样本）检测器

这类检测器不需要训练样本。它们转而询问语言模型：文本中的每个词有多容易预测。困惑度衡量的就是这种意外程度：困惑度低，说明模型觉得这段文本很容易预测。由于聊天机器人选择的是可能性高的词，它们的输出通常比人类写作的困惑度更低。有些工具还会测量突发性，即句子之间可预测程度的变化，因为人类写作往往平实的句子和出人意料的句子交织出现。

研究中的方法对这一思路做了改进。DetectGPT把文本的概率与它略作改写后的版本相比较，而Binoculars则比较一个模型认为文本有多出人意料，与另一个模型预期它有多出人意料。整个这一类方法的弱点是相同的：平实、可预测的人类写作同样困惑度较低。

水印检测

模型提供方可以通过巧妙地调整模型选词的倾向来嵌入统计水印，之后再检测这种倾向。Google已经为此发布了SynthID Text。水印只对参与该机制的提供方所生成的文本有效，只能用该提供方的检测器来检查，并且在文本被改写或翻译后会减弱。

检测器为什么会误判

误判是指把人类写作判为AI。这是最要紧的错误，因为它可能导致对无辜者的指控。常见原因如下：

• 非母语写作者。用第二语言写作的人通常词汇量较小，句式也更保守，这使得他们的文本更容易预测。斯坦福大学的Liang等人于2023年发表在期刊Patterns上的一项研究发现，多个常用检测器把非英语母语者为托福考试撰写的大多数作文判定为AI生成，而对母语者所写作文的判断则准确得多。
• 套路化文本。实验报告、法律条款、产品描述、求职信和五段式作文都遵循模板。无论出自谁手，紧贴模板的文本看起来都很容易预测。
• 短文本。寥寥几句话给检测器提供的证据极少，因此分数会大幅波动。对单个段落的检测结果应视为几乎没有意义。
• 语法和编辑工具。拼写和文风辅助工具（其中一些如今本身也使用语言模型）会抹平人类写作的个人特点，可能把分数推高。

漏判同样存在。改写工具、人工编辑、混合AI句子与人类句子，或者提示模型采用不寻常的风格，都会降低分数。OpenAI在2023年撤下了自己的AI文本分类器，理由是准确率较低，这说明即便对模型开发者而言，这个问题也有多难。

检测器分数究竟意味着什么

像“87% AI”这样的结果，通常是模型对文本属于AI类的置信度。它并不表示文本中有87%由AI撰写，也不是此人作弊的概率。有些工具还会高亮单个句子，但句子级别的分数所依据的文本更少，可靠性低于整体分数。

基础比率很重要。假设某个检测器会把100篇真实的人类文本中的1篇误判为AI。一位老师在一个学期里检查300篇诚实完成的作文，就应该预计会有大约三次误报，每一次都落在一名真实的学生头上。一个群体中真正使用AI的情况越少，被标记的文本中属于虚惊一场的比例就越大。

作为参考，在我们自己的小规模测试中，我们的检测器标记了8篇AI生成文本中的8篇，24篇真实的人类文本中有23篇得分低于50%。这个样本很小，也意味着该组中有一位诚实的写作者会被标记。每个检测器都有错误率；真正需要负责任对待的问题是：拿到高分结果后该怎么做。

面向教师、招聘人员和编辑的公平流程

1. 事先定好规则。明确说明哪些AI用法是允许的：头脑风暴、语法检查、翻译、完整起草。许多争议源于期望不明确，而不是不诚实。
2. 只把分数当作进一步查看的提示。绝不要仅凭检测结果就给予处罚，也不要把分数当作证据出示给作者。
3. 核查内容。验证参考文献、引文和具体事实。捏造的来源比文风分数有力得多。
4. 询问写作过程。草稿、笔记、提纲和文件版本历史（Google Docs和Microsoft 365都有版本历史）能显示文档是如何形成的。一次性粘贴出现、没有任何历史记录的文本值得问一问；而历经数天输入和修改的文档，则是人类创作的有力证据。
5. 与以往作品比较。考虑文风、词汇和细节程度是否与此人以往的作品相符，包括在监督环境下完成的作品。
6. 进行一次交谈。请作者解释自己的论点、为什么选择某个来源，或某一段是什么意思。自己写出这段文字的人通常可以轻松地谈论它。
7. 记录判断依据。记下自己依据了哪些证据，并在做出任何决定之前给当事人回应的机会。

对招聘人员来说，请记住许多求职者会用AI来润色简历，很多雇主也接受这一点。我们的AI简历检测器还会报告流行词密度和内容的具体程度，这往往比AI分数本身更有用：无论出自谁手，泛泛而谈的简历都缺乏说服力。面试才是检验所述经历的环节。

AI检测与查重的区别

AI检测和查重回答的是不同的问题。查重寻找的是与现有来源的重合；AI检测器寻找的是生成文本的统计模式。AI生成的文本通常是全新的措辞，因此很少与某个来源逐字吻合，而抄袭的人类文本往往能通过AI检测器。如果怀疑某个具体来源被抄袭或被近似改写，请使用我们的查重工具将两者直接比较，它能在您的文本与所提供的来源之间找出完全一致的五词匹配以及被改写的句子。

如果自己写的文字被判定为AI

自己写的作品被标记会让人倍感压力，但这是这些工具已知的局限。请保留草稿，并在带有版本历史的编辑器中写作，这样需要时就有记录可查。询问对方用了哪个工具、如何解读结果，并主动提出向对方讲解自己的作品。

常见问题

AI检测器能证明某人用过ChatGPT吗？

不能。检测器只是估计文本与机器生成样本的相似程度。它们在两个方向上都有可测量的错误率，因此分数应当是调查的开始，而不是结束。

AI检测器的准确率有多高？

准确率取决于文本长度、体裁、语言、生成文本的模型以及文本是否经过编辑。检测器对知名模型未经编辑的长篇输出表现最好，对短文本、套路化或大幅编辑过的文本，以及非母语者的写作表现最差。

为什么我亲手写的作文被判定为AI？

常见原因包括文本较短、结构套路化、措辞简单且可预测（用第二语言写作时很常见），或者大量使用语法纠错工具。您的草稿和版本历史是证明自己如何写出这篇文字的最佳方式。

出现“delve”这类词，就说明文本是AI生成的吗？

单凭这一点不能。有些词在聊天机器人的输出中统计上更常见，但其中每一个也都有人使用。一批这样的词再加上内容空泛、没有具体细节，比任何单个词都是更强的信号。

AI文本能做到无法被检测吗？

通常可以。改写、人工编辑以及混合人类句子与AI句子，都会降低检测器分数。这也是低分不能证明文本出自人手的原因之一。