Como saber se um texto foi escrito por IA ou bot?

Desde quando a inteligência artificial foi incorporada na ferramenta GPT-2, muitos ficaram surpresos com a capacidade de geração de textos. A ferramenta, criada pela OpenAI, chegou até mesmo a criar um texto fictício que mostrava a descoberta de unicórnios por cientistas. Mas a ampla utilização de textos feitos por bots, acabou trazendo uma polêmica: como saber se um texto foi realmente escrito por IA?

Tendo objetivo de programar um algoritmo capaz de verificar o que foi escrito por IA, uma equipe de cientistas do Instituto de Tecnologia de Massachusetts (MIT) desenvolveu um sistema chamado GLTR. Mas o MIT não está sozinho nessa corrida.

Também procurando por uma régua para determinar o que é produzido ou não por algoritmos inteligentes, a própria OpenAI lançou um novo recurso no seu sistema ChatGPT, no dia 31 de janeiro. Agora, quem utiliza o produtor automatizado de textos, pode selecionar a opção classifier tool (ferramenta de classificação, em tradução livre) para verificar textos de IA.

Surgimento do ChatGPT: como os textos automatizados vieram à tona

Para entender de onde veio o ChatGPT, as pessoas precisam saber a organização por trás do aplicativo. Criada em 2015, foi a OpenAI que iniciou a construção do algoritmo, que hoje tem como CEO o Sam Altman. A empresa tem como objetivo realizar pesquisas avançadas em inteligência artificial. O lançamento do chat aconteceu em 30 de novembro de 2022, sendo projetado para responder diversas questões dos usuários.

“[o ChatGPT foi feito para] responder questões, reconhecer erros, identificar premissas incorretas e rejeitar pedidos inapropriados.”

Open AI sobre o funcionamento do chat com inteligência artificial

Existem outras automações parecidas criadas pela OpenAI. Exemplos são a InstructGPT, que visa fornecer instruções e respostas aos usuários e a DALL·E, que é capaz de gerar imagens a partir da solicitação de usuários.

Cientes de que a ferramenta de criação de textos automatizados poderia aumentar a produção de desinformação, a empresa decidiu aplicar uma mudança. Além de anunciar a ferramenta de classificação, a OpenAI advertiu que o uso do ChatGPT pode ser uma ameaça, se usada para criar fake news.

Como funciona a avaliação de textos escritos por IA

O projeto GPTZero teve como função verificar a autoria de textos feitos por IA. Basicamente, o algoritmo avalia se há autoria do ChatGPT nos textos analisados. Ainda, o aplicativo vê se o texto tem complexidade e variações de frases, por meio de cálculos. O inventor da aplicação foi Edward Tian, de 22 anos, aluno da Universidade de Princeton, nos EUA. Além de desenvolver os métodos de cálculo, ele construiu o algoritmo com Python, pela biblioteca do Streamlit.

Em entrevista ao The Guardian, Tian atentou que, sem o interesse de grandes empresas de tecnologia, fica difícil deter o uso do ChatGPT para plágio. Em relação à motivação, ele afirmou que a ideia era evitar o uso de softwares que conseguiam despistar detectores de cópias indevidas.

O funcionamento da ferramenta de classificação da OpenAI, por sua vez, tem algumas limitações. Além disso, ela está passando por alguns testes e o seu método de criação envolveu aprendizado de máquina. Nessa etapa, o texto escrito por inteligência artificial era comparado com produções feitas por humanos, abordando o mesmo assunto.

Detecção de texto escrito por IA no GPTZero

A ferramenta criada pelo MIT consegue verificar a autoria robótica por uma técnica simples. Isto é, ela segue o caminho criado pela GPT-2 para produzir os textos: vendo quais palavras tem mais chances de vir logo em seguida de cada uma. Assim, o GLTR verifica se o que foi escrito é feito mesmo por um bot.

O GLTR mostra para os usuários se é um texto escrito por inteligência artificial por meio de uma sinalização simples. Se tiver participação de um algoritmo como o GPT-2, o texto aparece em verde. Outras cores, como roxo, vermelho e amarelo, mostram que o texto tem mais chances de ter sido feito por um humano.

A presunção de quais palavras podem vir uma após a outra é o fator crucial para que um texto passe como escrito por um ser humano. Mas os cientistas que criaram o GLTR indicam que é justamente a imprevisibilidade que impede um texto escrito por IA não ser percebido.

“A escrita comum, na verdade, seleciona frequentemente palavras não previsíveis que fazem mais sentido com o tema do texto. Isso significa que nós podemos verificar se um texto realmente parece ter mais chances de vir de um ser humano.”

Cientistas responsáveis pelo algoritmo GLTR para o site Futurism

Porém, a tecnologia GLTR precisa passar por melhorias. Algumas vezes, o texto pode ser feito por um humano, mas o algoritmo acusa, de forma errada, que foi feito por algum bot. Dessa forma, verificar a ocorrência de textos de IA será uma tarefa que precisará de mais ferramentas.

Ferramenta de classificação da OpenAI no ChatGPT

A classifier tool tem a limitação de verificar a autoria automatizada ou orgânica de produções textuais de, pelo menos, mil caracteres. A solução, criada a partir de treinamento de máquina, ainda precisa passar por alguns ajustes, porque ainda confunde o que foi escrito por IA com o que é produzido por algum humano.

“Em nossas avaliações, com um conjunto de textos em inglês, nosso classificador identifica de forma correta 26% dos textos escritos por IA (testes verdadeiros) como ‘provavelmente escritos por IA’, enquanto de maneira incorreta identifica textos produzidos por humanos como feitos por inteligência artificial 9% das vezes (falsos positivos)”.

OpenAI

Um perigo extra está no radar da empresa do ramo de IA. Eventualmente, os textos com produção automatizada podem ser readaptados por estudantes que busquem encontrar padrões no conteúdo gerado por inteligência artificial e saber como burlá-las. Dessa forma, a OpenAI já adianta que, por enquanto, o recurso novo de classificação ainda não pode ser usado para determinar de vez se uma produção vem de um bot, por exemplo. A expectativa é que a empresa consiga trazer mais avanços nesse desafio em um futuro próximo.

Veja também: ChatGPT passa em exames de MBA, Direito e Medicina nos EUA.

Fontes: The Guardian | Olhar Digital | PC Mag | Futurism | Hitc.

Revisado por Glauco