Como saber se um texto é de IA (e por que os detectores falham)

Não é possível saber com certeza se um texto foi escrito por IA apenas lendo-o ou passando-o por um detector. Padrões de estilo e pontuações de detectores são sinais de que um texto se parece com a produção de uma máquina, não prova de quem o escreveu. Um julgamento justo combina esses sinais com evidências do processo de escrita, como rascunhos, histórico de versões e uma conversa com o autor.

Sinais de estilo de textos escritos por IA

Os grandes modelos de linguagem produzem texto escolhendo, repetidamente, as próximas palavras mais prováveis. O ajuste fino os empurra então para respostas educadas, equilibradas e completas. O resultado tem um estilo próprio, reconhecível, principalmente quando o usuário aceita a primeira resposta sem editá-la.

Vocabulário e fraseado

• Palavras favoritas. Certas palavras aparecem muito mais na saída de chatbots do que na escrita comum: "delve", "tapestry", "testament to", "pivotal", "seamless", "robust", "landscape", "navigate the complexities".
• Frases de sinalização. "É importante ressaltar que", "Na era digital em que vivemos", "Quando se trata de", "Em conclusão" e "No geral" usados como transições automáticas.
• Equilíbrio cauteloso. Toda afirmação é suavizada, e todo argumento é seguido de "no entanto, também vale considerar". O texto raramente assume uma posição.
• Construções em trios. Listas de três adjetivos ou de três orações paralelas, repetidas parágrafo após parágrafo.

Estrutura

• Ritmo uniforme. Frases e parágrafos de tamanho parecido, cada parágrafo abrindo com uma frase-tópico e fechando com um minirresumo.
• Títulos e marcadores por toda parte, mesmo onde a prosa corrida seria mais natural, como em uma carta de apresentação pessoal ou em um e-mail.
• Um final em forma de resumo que repete a introdução sem acrescentar nada.

Conteúdo

• Falta de especificidade. Sem nomes, datas, lugares, números ou experiências pessoais que possam ser verificados, ou com detalhes que parecem plausíveis, mas são vagos ("um estudo recente mostrou").
• Erros cometidos com confiança. Referências inventadas, datas erradas ou citações que não existem. Isso é tratado em nosso guia sobre alucinações de IA.
• Descompasso com o autor. Prosa polida e genérica de alguém cujos outros trabalhos são bem diferentes em tom, hábitos de ortografia ou nível de detalhe.

Nenhum desses sinais é conclusivo. Muitas pessoas escrevem de forma formal e usam marcadores; a escrita corporativa, jurídica e acadêmica é formulaica por natureza. E um usuário cuidadoso pode orientar um modelo a evitar todos esses vícios. Trate os sinais de estilo como um motivo para olhar com mais atenção, não como prova.

Como os detectores de IA funcionam

Os detectores automáticos se dividem em três grandes famílias.

Detectores baseados em classificador

Um classificador é uma rede neural, muitas vezes um transformer ajustado como o RoBERTa, treinado com muitos exemplos rotulados de texto humano e de texto de máquina. Ele aprende as diferenças estatísticas que separam os dois grupos nos dados de treinamento e devolve a probabilidade de um novo texto pertencer à classe "IA". Esses detectores são precisos com textos parecidos com os do treinamento e mais fracos com modelos novos, gêneros incomuns ou outros idiomas.

Nosso Detector de IA pertence a essa família. Ele usa um modelo RoBERTa aberto treinado no benchmark RAID, um grande conjunto de dados de pesquisa com textos humanos e de máquina de muitos geradores e domínios, e consulta um segundo modelo, treinado no conjunto HC3, quando a primeira pontuação fica no limite. Ele roda no seu navegador, então o texto não é enviado.

Detectores baseados em perplexidade (zero-shot)

Esses detectores não precisam de exemplos de treinamento. Em vez disso, perguntam a um modelo de linguagem o quanto cada palavra do texto era previsível. Perplexidade é a medida dessa surpresa: perplexidade baixa significa que o modelo achou o texto fácil de prever. Como os chatbots escolhem palavras prováveis, o que produzem costuma ter perplexidade menor do que a escrita humana. Algumas ferramentas medem também a burstiness (variabilidade), a variação de previsibilidade entre as frases, já que a escrita humana tende a misturar frases simples e frases surpreendentes.

Métodos de pesquisa refinam essa ideia. O DetectGPT compara a probabilidade de um texto com a de versões levemente reescritas dele, e o Binoculars compara o quanto um texto surpreende um modelo com o quanto outro modelo esperava que ele surpreendesse. A fraqueza de toda a família é a mesma: a escrita humana simples e previsível também tem perplexidade baixa.

Detecção por marca d'água

Um provedor de modelos pode incorporar uma marca d'água estatística, influenciando sutilmente quais palavras o modelo escolhe, e depois detectar essa influência. O Google publicou o SynthID Text com essa finalidade. As marcas d'água só funcionam para textos gerados por um provedor participante, só podem ser verificadas com o detector desse provedor e enfraquecem quando o texto é parafraseado ou traduzido.

Por que os detectores geram falsos positivos

Um falso positivo é um texto humano classificado como IA. É o erro que mais importa, porque pode levar a uma acusação contra quem não fez nada de errado. As causas mais comuns são:

• Falantes não nativos. Quem escreve em uma segunda língua costuma usar um vocabulário menor e estruturas de frase mais seguras, o que torna o texto mais previsível. Um estudo de 2023 de Liang e colegas, de Stanford, publicado na revista Patterns, constatou que vários detectores populares rotularam como geradas por IA a maioria das redações do exame TOEFL escritas por falantes não nativos de inglês, enquanto pontuaram com muito mais acerto as redações de falantes nativos.
• Textos formulaicos. Relatórios de laboratório, cláusulas jurídicas, descrições de produtos, cartas de apresentação e redações de cinco parágrafos seguem modelos. Um texto que segue de perto um modelo parece previsível, seja quem for o autor.
• Textos curtos. Poucas frases dão ao detector muito pouca evidência, então as pontuações oscilam bastante. O resultado de um único parágrafo deve ser tratado como quase sem significado.
• Ferramentas de gramática e edição. Assistentes de ortografia e estilo, alguns dos quais já usam modelos de linguagem, suavizam as peculiaridades humanas e podem elevar a pontuação.

Falsos negativos também acontecem. Ferramentas de paráfrase, edição manual, mistura de frases de IA e humanas ou pedir ao modelo que escreva em um estilo incomum reduzem a pontuação. A OpenAI retirou seu próprio classificador de texto de IA em 2023, citando a baixa taxa de acerto, o que mostra como o problema é difícil até para quem desenvolve o modelo.

O que uma pontuação do detector realmente significa

Um resultado como "87% IA" costuma ser a confiança do modelo de que o texto pertence à classe IA. Isso não significa que 87% do texto foi escrito por IA, nem a probabilidade de a pessoa ter trapaceado. Algumas ferramentas também destacam frases individuais, mas as pontuações por frase se baseiam em ainda menos texto e são menos confiáveis do que a pontuação geral.

As taxas de base importam. Suponha que um detector marque por engano 1 de cada 100 textos humanos genuínos. Um professor que verifica 300 redações honestas em um semestre deve esperar cerca de três alarmes falsos, cada um ligado a um aluno real. Quanto mais raro é o uso real de IA em um grupo, maior é a parcela de textos sinalizados que são alarmes falsos.

Como referência, em um pequeno teste nosso, o detector sinalizou 8 de 8 textos gerados por IA, e 23 de 24 textos humanos genuínos tiveram pontuação abaixo de 50%. É uma amostra pequena, e significa que uma pessoa honesta daquele conjunto teria sido sinalizada. Todo detector tem uma taxa de erro; a pergunta responsável é o que você faz com uma pontuação alta.

Um processo justo para professores, recrutadores e editores

1. Defina as regras com antecedência. Diga com clareza quais usos de IA são permitidos: brainstorming, correção gramatical, tradução, redação completa. Muitas disputas nascem de expectativas pouco claras, e não de desonestidade.
2. Use a pontuação apenas como um convite a investigar mais. Nunca aplique uma penalidade com base só no resultado de um detector e não apresente uma pontuação ao autor como prova.
3. Verifique o conteúdo. Confira referências, citações e fatos específicos. Fontes inventadas são uma evidência muito mais forte do que uma pontuação de estilo.
4. Peça o processo. Rascunhos, anotações, esboços e o histórico de versões do arquivo (o Google Docs e o Microsoft 365 guardam esse histórico) mostram como um documento se desenvolveu. Um texto que aparece de uma só vez, colado e sem histórico, merece uma pergunta; um documento digitado e revisado ao longo de dias é forte evidência de trabalho humano.
5. Compare com trabalhos anteriores. Avalie se o estilo, o vocabulário e o nível de detalhe combinam com o que a pessoa já escreveu, inclusive em situações supervisionadas.
6. Converse. Peça ao autor que explique seu argumento, por que escolheu uma fonte ou o que um parágrafo quer dizer. Quem escreveu o texto geralmente consegue falar sobre ele com facilidade.
7. Registre seu raciocínio. Anote em que evidências você se baseou e dê à pessoa a chance de responder antes de qualquer decisão.

Se você recruta, lembre-se de que muitos candidatos usam IA para aprimorar o currículo, e muitos empregadores aceitam isso. Nosso Detector de IA em currículos também informa a densidade de jargões e o grau de especificidade do conteúdo, o que muitas vezes é mais útil do que a própria pontuação de IA: um currículo genérico é fraco, seja quem for o autor. A entrevista é onde a experiência declarada é posta à prova.

Detecção de IA versus verificação de plágio

Detectar IA e verificar plágio respondem a perguntas diferentes. A verificação de plágio procura sobreposição com fontes existentes; o detector de IA procura padrões estatísticos de texto gerado. Um texto gerado por IA costuma ter redação nova, então raramente coincide palavra por palavra com uma fonte, enquanto um texto humano copiado muitas vezes passa por um detector de IA. Se você suspeita de cópia ou de paráfrase muito próxima de uma fonte específica, compare os dois diretamente com nosso verificador de plágio, que encontra coincidências exatas de cinco palavras e frases parafraseadas entre o seu texto e as fontes que você fornecer.

Se o seu próprio texto for sinalizado

Ser sinalizado por um trabalho que você mesmo escreveu é estressante, mas é uma limitação conhecida dessas ferramentas. Guarde seus rascunhos e trabalhe em um editor com histórico de versões, para que o registro exista caso você precise. Pergunte qual ferramenta foi usada e como o resultado está sendo interpretado, e ofereça-se para conversar sobre o seu trabalho.

Perguntas frequentes

Os detectores de IA podem provar que alguém usou o ChatGPT?

Não. Os detectores estimam o quanto um texto se parece com exemplos gerados por máquina. Eles têm taxas de erro mensuráveis nas duas direções, então uma pontuação deve iniciar uma apuração, não encerrá-la.

Qual a precisão dos detectores de IA?

A precisão depende do tamanho do texto, do gênero, do idioma, do modelo que o produziu e de ele ter sido editado ou não. Os detectores se saem melhor com saídas longas e sem edição de modelos conhecidos e pior com textos curtos, formulaicos ou muito editados e com a escrita de quem não é falante nativo.

Por que minha redação foi marcada como IA se fui eu que a escrevi?

Os motivos mais comuns são um texto curto, uma estrutura formulaica, palavras simples e previsíveis (comum ao escrever em uma segunda língua) ou o uso intenso de ferramentas de correção gramatical. Seus rascunhos e o histórico de versões são a melhor forma de mostrar como você escreveu o texto.

Palavras como "delve" significam que um texto foi gerado por IA?

Não por si só. Algumas palavras são estatisticamente mais comuns em saídas de chatbots, mas todas elas também são usadas por pessoas. Um conjunto dessas palavras junto com conteúdo genérico e sem detalhes específicos é um sinal mais forte do que qualquer palavra isolada.

É possível tornar um texto de IA indetectável?

Muitas vezes, sim. Paráfrase, edição manual e a mistura de frases humanas e de IA reduzem as pontuações dos detectores. É um dos motivos pelos quais uma pontuação baixa não prova que um texto foi escrito por uma pessoa.