Come capire se un testo è scritto dall'IA e i limiti dei detector

Non puoi sapere con certezza se un testo è stato scritto dall'IA solo leggendolo o sottoponendolo a un detector. Gli schemi stilistici e i punteggi dei rilevatori sono indizi del fatto che un testo somiglia a quello prodotto da una macchina, non prove di chi lo abbia scritto. Un giudizio equo unisce questi indizi alle prove del processo di scrittura, come bozze, cronologia delle versioni e un confronto con l'autore.

I segnali stilistici di un testo scritto dall'IA

I modelli linguistici di grandi dimensioni producono testo scegliendo ripetutamente le parole successive più probabili. Il fine-tuning li spinge poi verso risposte cortesi, equilibrate e complete. Il risultato ha uno stile riconoscibile, soprattutto quando chi lo usa accetta la prima risposta senza modificarla.

Vocabolario e formulazioni

• Parole predilette. Alcune parole compaiono molto più spesso nell'output dei chatbot che nella scrittura normale: "delve", "tapestry", "testament to", "pivotal", "seamless", "robust", "landscape", "navigate the complexities".
• Frasi di raccordo. "It's important to note that", "In today's digital age", "When it comes to", "In conclusion" e "Overall" usati come transizioni automatiche.
• Equilibrio cauto. Ogni affermazione è attenuata e ogni argomento è seguito da "tuttavia, vale anche la pena considerare". Il testo si schiera raramente.
• Costruzioni in tre. Elenchi di tre aggettivi o tre proposizioni parallele, ripetuti paragrafo dopo paragrafo.

Struttura

• Ritmo uniforme. Frasi e paragrafi di lunghezza simile, ciascun paragrafo aperto da una frase tematica e chiuso da un mini-riassunto.
• Titoli ed elenchi puntati ovunque, anche dove una prosa scorrevole sarebbe più naturale, come in una lettera motivazionale o in un'email.
• Una conclusione riepilogativa che ripete l'introduzione senza aggiungere nulla.

Contenuto

• Mancanza di dettagli specifici. Nessun nome, data, luogo, numero o esperienza personale verificabile, oppure dettagli che suonano plausibili ma vaghi ("uno studio recente ha rilevato").
• Errori pronunciati con sicurezza. Riferimenti inventati, date sbagliate o citazioni inesistenti. Ne parliamo nella nostra guida alle allucinazioni dell'IA.
• Un divario con l'autore. Una prosa levigata e generica da parte di qualcuno i cui altri lavori hanno un tono, abitudini ortografiche o un livello di dettaglio molto diversi.

Nessuno di questi segnali è decisivo. Molte persone scrivono in modo formale e usano gli elenchi puntati; la scrittura aziendale, legale e accademica è formulaica per natura. E un utente attento può istruire un modello a evitare tutte queste abitudini. Considera i segnali stilistici un motivo per guardare più da vicino, non una prova.

Come funzionano i rilevatori di testo IA

I rilevatori automatici si dividono in tre grandi famiglie.

Rilevatori basati su classificatore

Un classificatore è una rete neurale, spesso un transformer con fine-tuning come RoBERTa, addestrata su molti esempi etichettati di testo umano e di testo generato da macchine. Impara le differenze statistiche che separano i due gruppi nei suoi dati di addestramento e restituisce la probabilità che un nuovo testo appartenga alla classe "IA". Sono accurati su testi simili a quelli di addestramento e più deboli con modelli nuovi, generi insoliti o altre lingue.

Il nostro Rilevatore AI appartiene a questa famiglia. Usa un modello RoBERTa aperto addestrato sul benchmark RAID, un grande dataset di ricerca con testi umani e generati da molti modelli e in molti ambiti, e consulta un secondo modello addestrato sul dataset HC3 quando il primo punteggio è al limite. Funziona nel tuo browser, quindi il testo non viene caricato.

Rilevatori basati sulla perplessità (zero-shot)

Questi rilevatori non richiedono esempi di addestramento. Chiedono invece a un modello linguistico quanto sia prevedibile ogni parola del testo. La perplessità misura proprio questa sorpresa: una perplessità bassa significa che il modello ha trovato il testo facile da prevedere. Poiché i chatbot scelgono parole probabili, il loro output ha di solito una perplessità inferiore alla scrittura umana. Alcuni strumenti misurano anche la burstiness, cioè la variazione di prevedibilità tra una frase e l'altra, dato che la scrittura umana tende a mescolare frasi semplici e frasi sorprendenti.

I metodi di ricerca affinano questa idea. DetectGPT confronta la probabilità di un testo con quella di versioni leggermente riscritte, mentre Binoculars confronta quanto un testo sorprende un modello con quanto un altro modello si aspetta che sorprenda. Il punto debole dell'intera famiglia è lo stesso: anche la scrittura umana semplice e prevedibile ha una perplessità bassa.

Rilevamento tramite watermark

Un fornitore di modelli può inserire un watermark statistico, orientando in modo sottile la scelta delle parole del modello, e rilevarlo in seguito. Google ha pubblicato SynthID Text a questo scopo. I watermark funzionano solo per il testo generato da un fornitore aderente, si possono verificare solo con il rilevatore di quel fornitore e si indeboliscono quando il testo viene parafrasato o tradotto.

Perché i rilevatori producono falsi positivi

Un falso positivo è un testo umano valutato come IA. È l'errore che conta di più, perché può portare ad accusare chi non ha fatto nulla di male. Le cause più comuni sono:

• Autori non madrelingua. Chi scrive in una seconda lingua usa spesso un vocabolario più ridotto e strutture di frase più sicure, il che rende il testo più prevedibile. Uno studio del 2023 di Liang e colleghi a Stanford, pubblicato sulla rivista Patterns, ha rilevato che diversi detector molto diffusi hanno etichettato come generata dall'IA la maggior parte dei saggi scritti da non madrelingua inglesi per l'esame TOEFL, mentre valutavano con molta più precisione i saggi dei madrelingua.
• Testi formulaici. Relazioni di laboratorio, clausole legali, descrizioni di prodotti, lettere di presentazione e temi in cinque paragrafi seguono modelli prefissati. Un testo che segue da vicino un modello appare prevedibile chiunque l'abbia scritto.
• Testi brevi. Poche frasi offrono al detector pochissimi elementi, quindi i punteggi oscillano molto. Il risultato su un solo paragrafo va considerato quasi privo di significato.
• Strumenti di grammatica e revisione. Gli assistenti di ortografia e stile, alcuni dei quali ormai usano a loro volta modelli linguistici, appianano le peculiarità umane e possono far salire il punteggio.

Esistono anche i falsi negativi. Strumenti di parafrasi, revisione manuale, mescolanza di frasi IA e umane o istruzioni al modello per scrivere in uno stile insolito abbassano tutti il punteggio. OpenAI ha ritirato nel 2023 il proprio classificatore di testo IA, citandone il basso tasso di accuratezza, il che mostra quanto il problema sia difficile anche per lo sviluppatore di un modello.

Cosa significa davvero il punteggio di un detector

Un risultato come "87% IA" è di solito la fiducia del modello che il testo appartenga alla classe IA. Non significa che l'87% del testo sia stato scritto dall'IA e non è la probabilità che la persona abbia imbrogliato. Alcuni strumenti evidenziano anche le singole frasi, ma i punteggi a livello di frase si basano su ancora meno testo e sono meno affidabili del punteggio complessivo.

Contano anche i tassi di base. Supponi che un detector segnali per errore 1 testo umano autentico su 100. Un insegnante che controlla 300 elaborati onesti in un quadrimestre deve aspettarsi circa tre segnalazioni false, ciascuna legata a uno studente reale. Più è rara l'effettiva presenza di IA in un gruppo, maggiore è la quota di testi segnalati che sono falsi allarmi.

Come punto di riferimento, nel nostro piccolo test il nostro detector ha segnalato 8 testi generati dall'IA su 8, e 23 testi umani autentici su 24 hanno ottenuto meno del 50%. È un campione ridotto, e significa che in quel gruppo una persona onesta sarebbe stata segnalata. Ogni detector ha un tasso di errore; la domanda responsabile è che cosa fai con un punteggio alto.

Un processo equo per insegnanti, selezionatori ed editor

1. Stabilisci le regole in anticipo. Indica chiaramente quali usi dell'IA sono consentiti: brainstorming, correzioni grammaticali, traduzione, stesura completa. Molte controversie nascono da aspettative poco chiare più che da disonestà.
2. Usa il punteggio solo come spunto per approfondire. Non basare mai una sanzione solo sul risultato di un detector e non presentare un punteggio all'autore come prova.
3. Controlla il contenuto. Verifica riferimenti, citazioni e fatti specifici. Le fonti inventate sono una prova molto più forte di un punteggio di stile.
4. Chiedi il processo. Bozze, appunti, scalette e cronologia delle versioni del file (la tengono sia Google Docs sia Microsoft 365) mostrano come si è sviluppato un documento. Un testo che compare in un unico incolla senza cronologia merita una domanda; un documento scritto e rivisto nell'arco di giorni è una prova solida di lavoro umano.
5. Confronta con i lavori precedenti. Valuta se stile, vocabolario e livello di dettaglio corrispondono a quanto la persona ha scritto prima, compresi i lavori svolti in contesti sorvegliati.
6. Parlane con l'autore. Chiedigli di spiegare la sua argomentazione, perché ha scelto una fonte o che cosa significa un paragrafo. Chi ha scritto il testo di solito ne parla senza difficoltà.
7. Documenta il tuo ragionamento. Annota su quali prove ti sei basato e dai alla persona la possibilità di rispondere prima di qualsiasi decisione.

Per chi seleziona i candidati: ricorda che molti usano l'IA per rifinire il CV e che molti datori di lavoro lo accettano. Il nostro Rilevatore AI per CV e curriculum segnala anche la densità di parole di moda e quanto è specifico il contenuto, cosa spesso più utile del punteggio IA stesso: un CV generico è debole chiunque l'abbia scritto. È il colloquio il momento in cui l'esperienza dichiarata viene messa alla prova.

Rilevamento IA e controllo del plagio a confronto

Il rilevamento IA e il controllo del plagio rispondono a domande diverse. Il controllo del plagio cerca sovrapposizioni con fonti esistenti; il rilevatore IA cerca schemi statistici del testo generato. Il testo generato dall'IA ha di solito una formulazione nuova, quindi raramente coincide parola per parola con una fonte, mentre il testo umano copiato supera spesso un rilevatore IA. Se sospetti una copia o una parafrasi molto vicina a una fonte precisa, confronta direttamente i due testi con il nostro Controllo plagio, che trova corrispondenze esatte di cinque parole e frasi parafrasate tra il tuo testo e le fonti che fornisci.

Se il tuo testo viene segnalato

Essere segnalati per un lavoro scritto da te è stressante, ma è un limite noto di questi strumenti. Conserva le tue bozze e lavora in un editor con cronologia delle versioni, così, se serve, hai la documentazione. Chiedi quale strumento è stato usato e come viene interpretato il risultato, e offriti di spiegare a voce il tuo lavoro.

Domande frequenti

I rilevatori di testo IA possono dimostrare che qualcuno ha usato ChatGPT?

No. I detector stimano quanto un testo somigli a esempi generati da macchine. Hanno tassi di errore misurabili in entrambe le direzioni, quindi un punteggio deve aprire un'indagine, non chiuderla.

Quanto sono accurati i rilevatori di testo IA?

L'accuratezza dipende dalla lunghezza del testo, dal genere, dalla lingua, dal modello che l'ha prodotto e dal fatto che sia stato modificato. I detector danno il meglio con testi lunghi e non modificati di modelli noti e il peggio con testi brevi, formulaici o molto rimaneggiati e con la scrittura di chi non è madrelingua.

Perché il mio tema, scritto da me, è stato segnalato come IA?

Le ragioni più comuni sono un testo breve, una struttura formulaica, una scelta di parole semplice e prevedibile (frequente quando si scrive in una seconda lingua) o l'uso intensivo di strumenti di correzione grammaticale. Le tue bozze e la cronologia delle versioni sono il modo migliore per dimostrare come l'hai scritto.

Parole come "delve" significano che un testo è generato dall'IA?

Non da sole. Alcune parole sono statisticamente più frequenti nell'output dei chatbot, ma tutte sono usate anche dalle persone. Un gruppo di queste parole insieme a contenuti generici e senza dettagli specifici è un segnale più forte di qualsiasi parola singola.

Si può rendere il testo IA non rilevabile?

Spesso sì. Parafrasi, revisione manuale e mescolanza di frasi umane e IA abbassano tutte i punteggi dei detector. È uno dei motivi per cui un punteggio basso non prova che un testo sia umano.