Texte d'IA : le repérer et pourquoi les détecteurs échouent

Il est impossible de savoir avec certitude si un texte a été écrit par une IA en le lisant ou en le passant dans un détecteur. Les tournures de style et les scores des détecteurs sont des indices montrant qu'un texte ressemble à une production de machine, pas une preuve de son auteur. Pour juger équitablement, il faut croiser ces indices avec des éléments sur la façon dont le texte a été écrit : brouillons, historique des versions, échange avec l'auteur.

Les indices de style d'un texte écrit par IA

Les grands modèles de langage produisent du texte en choisissant, mot après mot, le terme le plus probable. Leur réglage fin les pousse ensuite vers des réponses polies, équilibrées et complètes. Il en résulte un style maison reconnaissable, surtout quand l'utilisateur accepte la première réponse sans la retoucher.

Vocabulaire et formulations

• Des mots favoris. Certains mots apparaissent bien plus souvent dans les textes de chatbots que dans l'écriture ordinaire : « delve », « tapestry », « testament to », « pivotal », « seamless », « robust », « landscape », « navigate the complexities ».
• Des formules de signalisation. « Il est important de noter que », « À l'ère du numérique », « Lorsqu'il s'agit de », « En conclusion » et « Dans l'ensemble » utilisés comme transitions automatiques.
• Un équilibre prudent. Chaque affirmation est nuancée et chaque argument est suivi d'un « cependant, il convient aussi de considérer ». Le texte prend rarement position.
• Des constructions par trois. Des listes de trois adjectifs ou de trois propositions parallèles, répétées paragraphe après paragraphe.

Structure

• Un rythme uniforme. Des phrases et des paragraphes de longueur similaire, chaque paragraphe s'ouvrant sur une phrase d'annonce du sujet et se fermant sur un mini-résumé.
• Des intertitres et des puces partout, même là où un texte fluide serait plus naturel, comme dans une lettre de motivation ou un e-mail.
• Une fin en forme de résumé qui reprend l'introduction sans rien ajouter.

Contenu

• Un manque de précisions. Pas de noms, de dates, de lieux, de chiffres ni d'expériences personnelles que l'on pourrait vérifier, ou des détails plausibles mais vagues (« une étude récente a montré »).
• Des erreurs affirmées avec aplomb. Des références inventées, des dates fausses ou des citations qui n'existent pas. Nous en parlons dans notre guide sur les hallucinations de l'IA.
• Un décalage avec l'auteur. Une prose soignée mais générique de la part de quelqu'un dont les autres écrits diffèrent beaucoup par le ton, les habitudes orthographiques ou le niveau de détail.

Aucun de ces signes n'est concluant. Beaucoup de gens écrivent de façon formelle et utilisent des puces ; l'écriture professionnelle, juridique et universitaire est formatée par nature. De plus, un utilisateur attentif peut demander au modèle d'éviter toutes ces habitudes. Considérez les indices de style comme une raison de regarder de plus près, pas comme une preuve.

Comment fonctionnent les détecteurs d'IA

Les détecteurs automatiques se répartissent en trois grandes familles.

Les détecteurs à classifieur

Un classifieur est un réseau de neurones, souvent un transformeur affiné comme RoBERTa, entraîné sur de nombreux exemples étiquetés de textes humains et de textes de machines. Il apprend les différences statistiques qui séparent les deux groupes dans ses données d'entraînement et renvoie la probabilité qu'un nouveau texte appartienne à la classe « IA ». Ces détecteurs sont précis sur des textes proches de leurs données d'entraînement et plus faibles face à de nouveaux modèles, à des genres inhabituels ou à d'autres langues.

Notre Détecteur d'IA appartient à cette famille. Il utilise un modèle RoBERTa ouvert, entraîné sur le benchmark RAID, un vaste jeu de données de recherche rassemblant des textes humains et des textes de nombreux générateurs, dans de nombreux domaines, et consulte un second modèle entraîné sur le jeu de données HC3 lorsque le premier score est ambigu. Il s'exécute dans votre navigateur : le texte n'est donc pas envoyé.

Les détecteurs fondés sur la perplexité (zero-shot)

Ces détecteurs n'ont pas besoin d'exemples d'entraînement. Ils demandent plutôt à un modèle de langage dans quelle mesure chaque mot du texte est prévisible. La perplexité mesure cette surprise : une perplexité faible signifie que le modèle a trouvé le texte facile à prévoir. Comme les chatbots choisissent des mots probables, leurs textes ont en général une perplexité plus faible que ceux des humains. Certains outils mesurent aussi la burstiness (irrégularité), c'est-à-dire la variation de prévisibilité d'une phrase à l'autre, car l'écriture humaine mêle volontiers phrases simples et phrases surprenantes.

Des méthodes de recherche affinent cette idée. DetectGPT compare la probabilité d'un texte à celle de versions légèrement réécrites, et Binoculars compare la surprise d'un texte pour un modèle à celle qu'un autre modèle s'attend à voir. La faiblesse de toute cette famille est la même : un texte humain simple et prévisible a aussi une faible perplexité.

La détection par filigrane

Un fournisseur de modèle peut intégrer un filigrane statistique en biaisant subtilement les mots choisis par le modèle, puis détecter ce biais plus tard. Google a publié SynthID Text dans ce but. Les filigranes ne fonctionnent que pour les textes générés par un fournisseur participant, ne peuvent être vérifiés qu'avec le détecteur de ce fournisseur et s'affaiblissent quand le texte est paraphrasé ou traduit.

Pourquoi les détecteurs produisent des faux positifs

Un faux positif est un texte humain noté comme étant de l'IA. C'est l'erreur qui compte le plus, car elle peut conduire à accuser quelqu'un qui n'a rien fait de mal. Les causes les plus courantes sont les suivantes :

• Les auteurs qui n'écrivent pas dans leur langue maternelle. Quand on écrit dans une langue seconde, on emploie souvent un vocabulaire plus restreint et des structures de phrase plus sûres, ce qui rend le texte plus prévisible. Une étude de 2023 de Liang et de ses collègues de Stanford, publiée dans la revue Patterns, a montré que plusieurs détecteurs populaires étiquetaient comme générée par IA la majorité des rédactions écrites en anglais par des non-anglophones pour l'examen du TOEFL, tout en notant beaucoup plus justement les rédactions de locuteurs natifs.
• Les textes très formatés. Les rapports de laboratoire, les clauses juridiques, les fiches produit, les lettres de motivation et les dissertations en cinq paragraphes suivent des modèles. Un texte qui suit un modèle de près paraît prévisible, quel qu'en soit l'auteur.
• Les textes courts. Quelques phrases donnent très peu d'éléments au détecteur : les scores varient alors fortement. Le résultat sur un seul paragraphe est à considérer comme presque sans valeur.
• Les outils de grammaire et de correction. Les assistants d'orthographe et de style, dont certains s'appuient désormais eux-mêmes sur des modèles de langage, gomment les particularités humaines et peuvent faire monter un score.

Les faux négatifs existent aussi. Les outils de paraphrase, la retouche manuelle, le mélange de phrases d'IA et de phrases humaines ou le fait de demander au modèle d'écrire dans un style inhabituel font tous baisser le score. OpenAI a retiré en 2023 son propre classifieur de textes d'IA en invoquant sa faible précision, ce qui montre la difficulté du problème, même pour le concepteur d'un modèle.

Ce que signifie vraiment un score de détecteur

Un résultat tel que « 87 % IA » correspond en général à la confiance du modèle que le texte appartient à la classe IA. Cela ne veut pas dire que 87 % du texte a été écrit par une IA, ni la probabilité que la personne ait triché. Certains outils surlignent aussi des phrases individuelles, mais les scores par phrase reposent sur encore moins de texte et sont moins fiables que le score global.

Les taux de base comptent. Imaginons un détecteur qui signale à tort 1 texte humain authentique sur 100. Un enseignant qui vérifie 300 copies honnêtes dans un trimestre doit s'attendre à environ trois fausses alertes, chacune visant un vrai élève. Plus le recours réel à l'IA est rare dans un groupe, plus la part de fausses alertes parmi les textes signalés est grande.

À titre de repère, lors de notre propre petit test, notre détecteur a signalé 8 textes générés par IA sur 8, et 23 des 24 textes humains authentiques ont obtenu moins de 50 %. L'échantillon est petit, et cela signifie qu'un auteur honnête de cet ensemble aurait été signalé. Tout détecteur a un taux d'erreur ; la vraie question est de savoir ce que l'on fait d'un score élevé.

Une démarche équitable pour les enseignants, les recruteurs et les rédacteurs en chef

1. Fixez les règles à l'avance. Indiquez clairement les usages de l'IA autorisés : remue-méninges, vérification grammaticale, traduction, rédaction complète. Beaucoup de litiges viennent d'attentes floues plutôt que de malhonnêteté.
2. N'utilisez un score que comme une incitation à creuser. Ne fondez jamais une sanction sur le seul résultat d'un détecteur et ne présentez pas un score à l'auteur comme une preuve.
3. Vérifiez le contenu. Contrôlez les références, les citations et les faits précis. Des sources inventées constituent une preuve bien plus solide qu'un score de style.
4. Demandez le processus. Les brouillons, les notes, les plans et l'historique des versions du fichier (Google Docs et Microsoft 365 en conservent un) montrent comment un document a évolué. Un texte qui apparaît d'un seul coup, collé, sans aucun historique mérite une question ; un document tapé et retravaillé sur plusieurs jours est une forte preuve de travail humain.
5. Comparez avec les travaux précédents. Voyez si le style, le vocabulaire et le niveau de détail correspondent à ce que la personne a déjà écrit, y compris lors d'épreuves surveillées.
6. Discutez. Demandez à l'auteur d'expliquer son argumentation, pourquoi il a choisi une source ou ce que signifie un paragraphe. Quelqu'un qui a écrit le texte peut généralement en parler sans difficulté.
7. Consignez votre raisonnement. Notez les éléments sur lesquels vous vous êtes appuyé et laissez à la personne la possibilité de répondre avant toute décision.

Pour les recruteurs : n'oubliez pas que de nombreux candidats utilisent l'IA pour peaufiner leur CV et que beaucoup d'employeurs l'acceptent. Notre Détecteur d'IA pour CV indique aussi la densité de mots à la mode et la précision du contenu, ce qui est souvent plus utile que le score d'IA lui-même : un CV générique est faible, quel qu'en soit l'auteur. C'est lors de l'entretien que l'on met à l'épreuve l'expérience annoncée.

Détection d'IA et détection de plagiat

La détection d'IA et la détection de plagiat répondent à des questions différentes. Une vérification de plagiat cherche des recoupements avec des sources existantes ; un détecteur d'IA cherche des motifs statistiques propres au texte généré. Un texte généré par IA est en général une formulation nouvelle : il correspond donc rarement mot pour mot à une source, alors qu'un texte humain copié passera souvent un détecteur d'IA. Si vous soupçonnez une copie ou une paraphrase proche d'une source précise, comparez directement les deux avec notre Détecteur de plagiat, qui repère les correspondances exactes de cinq mots et les phrases paraphrasées entre votre texte et les sources que vous fournissez.

Si votre propre texte est signalé

Être signalé pour un travail que l'on a écrit soi-même est stressant, mais c'est une limite connue de ces outils. Conservez vos brouillons et travaillez dans un éditeur doté d'un historique des versions, pour que la preuve existe si vous en avez besoin. Demandez quel outil a été utilisé et comment le résultat est interprété, et proposez de présenter votre travail à l'oral.

Questions fréquentes

Un détecteur d'IA peut-il prouver que quelqu'un a utilisé ChatGPT ?

Non. Les détecteurs estiment la ressemblance d'un texte avec des exemples générés par des machines. Leur taux d'erreur est mesurable dans les deux sens : un score doit donc ouvrir une enquête, pas la clore.

Quelle est la fiabilité des détecteurs d'IA ?

Elle dépend de la longueur du texte, de son genre, de la langue, du modèle qui l'a produit et de la présence de retouches. Les détecteurs fonctionnent le mieux sur de longs textes non retouchés issus de modèles connus, et le moins bien sur des textes courts, formatés ou très retouchés, ainsi que sur ceux de personnes qui n'écrivent pas dans leur langue maternelle.

Pourquoi ma dissertation, écrite par moi, est-elle signalée comme IA ?

Les raisons habituelles sont un texte court, une structure très formatée, des tournures simples et prévisibles (fréquentes quand on écrit dans une langue seconde) ou un usage intensif d'outils de correction grammaticale. Vos brouillons et votre historique des versions sont le meilleur moyen de montrer comment vous l'avez écrit.

Des mots comme « delve » prouvent-ils qu'un texte est généré par IA ?

Pas à eux seuls. Certains mots sont statistiquement plus fréquents dans les textes de chatbots, mais chacun d'eux est aussi employé par des humains. Un ensemble de tels mots, associé à un contenu générique et sans détails précis, est un signal plus fort qu'un mot isolé.

Peut-on rendre un texte d'IA indétectable ?

Souvent, oui. La paraphrase, la retouche manuelle et le mélange de phrases humaines et de phrases d'IA font tous baisser les scores des détecteurs. C'est l'une des raisons pour lesquelles un score faible ne prouve pas qu'un texte est humain.