ChatGPT dá sinais de estar “com preguiça”

Se você está usando o ChatGPT para realizar tarefas profissionais, existem chances de que você fique sem executá-las. Na última quinta-feira, a OpenAI divulgou em suas redes que estava apurando relatos de que a ferramenta de IA passou a negar as solicitações dos usuários, indicando que eles deveriam realizar as tarefas por conta própria ou se recusando terminantemente a concluí-las. Os problemas no ChatGPT são de certa forma esperados, considerando que a IA pode cometer erros, mas esse seria um caso de um ChatGPT “cansado”.

Desde seu lançamento, o ChatGPT tem sido reconhecido como uma ferramenta inovadora para otimizar tarefas no trabalho. Estima-se que a IA tenha conquistado uma base de usuários de 1,7 bilhão, segundo números da Similar Web. Sua introdução no mercado de trabalho é uma realidade, de acordo com uma pesquisa Reuters/Ipsos, desenvolvida em agosto, aproximadamente 28% dos 2.625 entrevistados (profissionais de escritórios nos EUA) revelaram utilizar a ferramenta regularmente em suas atividades profissionais. Apenas 22% afirmaram que seus empregadores explicitamente autorizavam o uso dessas ferramentas externas.

Relatos de dificuldades com erros do ChatGPT

Usuários estão expressando insatisfação com as insolentes respostas do bot, que supostamente deveria facilitar suas tarefas. Diversos empresários, executivos de tecnologia e profissionais afirmam que os avançados modelos de linguagem da OpenAI, como o GPT-4, começaram a se recusar a responder a certas solicitações. Em vez disso, estão dando instruções às pessoas sobre como realizar as tarefas por conta própria.

Um exemplo disso ocorreu quando Matthew Wensing, fundador de uma startup, solicitou ao GPT-4 que gerasse uma lista das próximas datas do calendário. O bot sugeriu inicialmente que ele tentasse usar uma ferramenta diferente para encontrar a resposta. Em outra ocasião, ao pedir ao chatbot para gerar cerca de 50 linhas de código, a resposta incluiu exemplos que Wensing poderia usar como modelo para concluir a tarefa sem a assistência da IA, conforme compartilhado pelo próprio em capturas de tela no X.

No Reddit, os usuários também estão relatando a difícil tarefa de fazer com que o ChatGPT responda adequadamente às tarefas atribuídas, sendo necessário alternar entre vários prompts até alcançar a resposta desejada. Muitas reclamações estão centradas na habilidade do ChatGPT em escrever código, e alguns expressam o desejo de que a empresa retorne aos modelos GPT originais. Além disso, usuários apontam que a qualidade das respostas também está em declínio.

Ainda em julho desse ano, um estudo conduzido por pesquisadores de Stanford e da UC Berkeley apontavam que as habilidades da IA estavam em declínio. Os pesquisadores realizaram uma análise sistemática das diferentes versões do ChatGPT, desenvolvendo benchmarks rigorosos para avaliar a competência do modelo em tarefas matemáticas, codificação e raciocínio visual.

Em um desafio matemático para identificar números primos, o ChatGPT apresentou uma precisão de 97,6%, resolvendo corretamente 488 das 500 questões em março. No entanto, em junho, a precisão caiu para 2,4%, com apenas 12 questões respondidas corretamente. O declínio foi particularmente notável nas habilidades de codificação de software do chatbot. O estudo concluiu que, para o GPT-4, a porcentagem de respostas diretamente executáveis caiu de 52% em março para 10% em junho, sem a utilização de plugins de interpretação de código.

O que explica os problemas do ChatGPT?

Em diversos tópicos no Reddit e até mesmo em postagens nos fóruns de desenvolvedores da própria OpenAI, usuários expressaram insatisfação, relatando que o sistema tornou-se menos útil. Além disso, houve especulações de que essa mudança foi deliberada por parte da OpenAI, visando economizar esforços e recursos financeiros nos investimentos do ChatGPT.

Isso se deve ao fato de que, mesmo resultando em apenas alguns parágrafos de texto, fornecer respostas mais extensas demanda uma quantidade maior de pesquisa, o que consome mais poder computacional. A operação desses sistemas é considerada onerosa para as empresas que os detêm.

Enquanto o aparente cansaço da inteligência artificial persiste, usuários descobriram maneiras próprias de restabelecer o funcionamento normal da plataforma através de prompts específicos. De maneira curiosa, pedir ao ChatGPT para “respirar fundo” e instruir que forneça apenas respostas completas e precisas parece ser eficaz.

Outros pedidos também foram mencionados como meios de direcionar a IA para um formato mais assertivo. Solicitar, por exemplo, que o ChatGPT responda apenas se tiver conhecimento sobre o assunto, ou pedir que faça perguntas adicionais para compreender o contexto, contribui para a melhoria das respostas. O mesmo se aplica a solicitar explicações passo a passo ou instruir o sistema a evitar a economia de tokens na geração de resultados.

Embora a OpenAI não tenha confirmado que tais prompts resolvem o problema, relatos dos próprios usuários nas redes sociais indicam que podem ser eficazes. Enquanto isso, resta aguardar por uma próxima atualização do modelo de IA que traga uma solução definitiva para o ChatGPT com preguiça.

O que diz a OpenAI sobre o “ChatGPT cansado”

Após passar por uma crise recente com direito a “dança das cadeiras” envolvendo seu CEO, Sam Altamn, a OpenAI, por meio da conta ChatGPT no X, comunicou que está buscando feedback sobre seu modelo que parece estar “ficando mais preguiçoso”. A empresa esclareceu que não atualizou o modelo desde 11 de novembro e afirmou que isso não foi intencional:

Ouvimos todos os seus comentários sobre o GPT4 ficar mais preguiçoso! Não atualizamos o modelo desde 11 de novembro e isso certamente não é intencional. O comportamento do modelo pode ser imprevisível e estamos tentando consertar isso

Embora alguns funcionários tenham atribuído alguns dos problemas a um bug de software, a OpenAI informou no sábado que continua investigando as reclamações dos usuários. Em outro post na rede, a empresa explicou que o treinamento de modelos de chat não é um processo industrial limpo. Veja o comunicado:

Treinar modelos de chat não é um processo industrial limpo. Diferentes execuções de treinamento, mesmo usando os mesmos conjuntos de dados, podem produzir modelos que são visivelmente diferentes em personalidade, estilo de escrita, comportamento de recusa, desempenho de avaliação e até preconceito político. Ao lançar um novo modelo, fazemos testes completos tanto em métricas de avaliação offline quanto em testes A/B online. Depois de receber todos esses resultados, tentamos tomar uma decisão baseada em dados sobre se o novo modelo é uma melhoria em relação ao anterior para usuários reais.

Esse processo se parece menos com a atualização de um site com um novo recurso e mais com um esforço artesanal de várias pessoas para planejar, criar e avaliar um novo modelo de chat com novo comportamento! Estamos sempre nos esforçando para tornar nossos modelos mais capazes e úteis para todos em milhões de casos de uso. Então, por favor, continue enviando comentários! Isso nos ajuda a ficar atentos a esse problema de avaliação dinâmica.

A analogia usada foi de que esse processo é menos semelhante a atualizar um site com um novo recurso e mais parecido com um esforço artesanal envolvendo várias pessoas para planejar, criar e avaliar um novo modelo de chat com comportamento diferenciado. O apelo foi feito para que os usuários continuem fornecendo feedback, pois isso pode auxiliar a empresa a lidar com os desafios de avaliação de seus modelos.

Veja também:

Fontes: Business Insider, Independent e Techradar

Revisado por Glauco Vital em 12/12/23.