如何检测文本是否由 AI 生成
- 把文本粘贴到待检测文本中,或点击上传文件载入 .txt、.pdf 或 .docx 文档。字数统计显示文本的长度;80 个单词或以上时结果最可靠。
- 点击检测AI。首次使用时,浏览器会下载检测模型(约 126 MB)。模型会被缓存,所以之后的检测启动很快。
- 先看顶部的总分和结论,再向下浏览按 AI 概率标注的段落,了解是哪些部分影响了结果。
- 写作风格信号表格仅作为背景参考。这些数据不计入分数。
模型在您的浏览器内运行。您的文本和文件不会发送到我们的服务器或其他任何地方。
检测器的工作原理
主模型是 TMR,这是一个在 RAID 基准上训练的开源 RoBERTa 分类器。RAID 包含来自 11 种不同语言模型的文本,其中也有为了躲避检测而被刻意改写或修改过的文本。
长文本会被拆分成约 160 个单词的段落,每个段落都有各自的 AI 概率。总分是各段落按长度加权后的平均值。段落按分数高亮显示:80% 及以上、50–80% 和 30–50%;低于 30% 的不做标记。
当主模型的分数落在 50% 到 97.5% 之间的临界区时,会由第二个模型给出意见。它是一个在 HC3 数据集(包含人类回答和 ChatGPT 回答)上训练的 RoBERTa 分类器(仅在需要时才下载,同样约 126 MB)。第二个模型在最终分数中占大部分权重,因为它很少把非正式的人类写作误判为 AI,而这恰恰是主模型最薄弱的地方。此时结果会同时显示两个分数。
准确率如何?
我们用 32 篇文本测试了这个检测器。24 篇人类文本是 2012 年到 2017 年间(ChatGPT 问世之前)写的 Hacker News 评论,以及经典小说的段落。8 篇 AI 文本涵盖不同风格:一篇议论文、一篇随意的评测、一篇技术教程、一篇短篇故事、一条 Slack 风格的团队动态和一篇产品评测。
- 全部 8 篇 AI 文本的得分都在 95% 到 99% 之间。
- 24 篇人类文本中有 23 篇得分低于 50%。
- 有一条非正式的人类评论被误判为 AI。
这只是一个小规模测试,不是基准评测。常见风格的 AI 文本一般能被识别出来,但也要预料到偶尔会有真人写的文本被误判。
如何解读结果
结论取决于总分:85% 及以上为“极可能由 AI 生成”,60–85% 为“可能由 AI 生成或经过 AI 大幅修改”,35–60% 为“混合或不确定”,15–35% 为“可能由人类撰写”,低于 15% 为“极可能由人类撰写”。分数下方还会显示 AI 风格段落的估计占比,适用于人类内容和 AI 内容混合的文档。
写作风格信号只描述文本特征,不做判断:
- 句长变化度(突发性)衡量句子长度的变化程度。人类往往长短句交错;聊天机器人生成的文字节奏通常比较均匀。
- 词汇丰富度采用移动平均类符/形符比(MATTR),在长短文本之间也具有可比性。
- 常见 AI 用语列出聊天机器人过度使用的套话,例如 “delve”“tapestry”“it is important to note” 或 “in today's fast-paced…”。
- 破折号也会被统计,因为频繁使用破折号是众所周知的 AI 习惯,尽管很多严谨的写作者也常用。
检测器什么时候会出错
请把分数当作概率,而不是证据。以下情况的结果可靠性较低:
- 短文本(少于约 80 个单词时,结果会标记为低置信度);
- 列表、要点、表单以及其他连贯正文很少的文本;
- 模板化、法律或技术类写作,这类文字本身就容易预测;
- 非母语者写的英语,往往句子更简单、更规整;
- 经人大幅改写过的 AI 草稿;
- 英语以外的语言。
检测器也可能被刻意蒙骗,例如把 AI 文本放进改写工具处理,或者让聊天机器人“像人一样”写作。分数低并不能证明文本出自人手。
小贴士
- 要检查的是求职材料而不是论文?AI简历检测器增加了专为简历设计的流行词和具体性信号。
- 如果文本包含参考来源,也可以用AI幻觉检测器检查一下。捏造的参考文献比任何分数都更有说服力。
- 怀疑是抄袭而不是 AI?查重工具可以把文本与您提供的来源进行比对。
常见问题
能检测 ChatGPT、Gemini 和 Claude 吗?
主模型用 11 种语言模型的输出训练,第二个模型用 ChatGPT 的回答训练,因此它旨在检测常见聊天机器人生成的文本。没有任何检测器能识别所有内容,尤其是较新模型生成的文本。
我的文本会被上传吗?
不会。模型下载到您的浏览器中并在那里运行。您的文本始终不会离开您的设备。
为什么第一次检测很慢?
首次运行需要下载约 126 MB 的模型数据,如果需要第二意见,还要再下载 126 MB。模型会被缓存,供之后的检测使用。
可以用分数证明某人作弊吗?
不可以。分数只是估计值,误判时有发生,尤其是非正式、非母语或模板化的写作。把它当作需要进一步核查的理由,而绝不能作为唯一证据。
更新于