Estudar com IA piora o desempenho na hora da prova? O que diz o preprint de Carnegie Mellon e Oxford

No primeiro experimento de um estudo assinado por Grace Liu, de Carnegie Mellon, as pessoas que treinaram problemas de fração com um assistente de IA acertaram 57% das questões do teste final, feito sem a ferramenta. As que treinaram sem apoio nenhum acertaram 73%. Os dois grupos fizeram o teste em igualdade: sem IA, sem consulta e sem material.

O trabalho se chama "AI Assistance Reduces Persistence and Hurts Independent Performance" e está no arXiv sob o identificador 2604.04721. Liu assina com Brian Christian e Tsvetomira Dumbalska, de Oxford, Michiel A. Bakker, do MIT, e Rachit Dubey, da UCLA. A primeira versão foi submetida em 6 de abril de 2026 e a quarta em 5 de agosto de 2026. É preprint: até 4 de setembro de 2026 não havia journal-ref, DOI de periódico nem nota de aceite em conferência na página do arXiv. Ou seja, o texto não passou por revisão por pares.

Como o experimento foi feito

São três experimentos randomizados e controlados, com 1.222 pessoas recrutadas na plataforma Prolific. Depois das exclusões por falha em teste de atenção e por desempenho no pré-teste, a análise ficou com 1.060 participantes: 307 no primeiro experimento, 585 no segundo e 168 no terceiro.

O desenho é o mesmo nos três. Existe uma fase de treino, em que um dos grupos tem o assistente de IA do lado e o outro não, e uma fase de teste, em que ninguém tem nada. No Experimento 1 foram doze problemas de fração no treino e três no teste final. No Experimento 2, onze problemas de treino mais três de pré-teste, e três no teste. No Experimento 3, cinco problemas de interpretação de texto no treino mais um de pré-teste, e três no teste.

A IA existiu só no treino, e apenas para um dos grupos. A prova, em todos os casos, foi sem ferramenta para os dois lados.

O que caiu além da nota

No teste final do Experimento 1, o grupo que treinou com IA apertou "pular" em 20% dos problemas. O grupo de controle pulou 11%. É cerca de 1,8 vez mais desistência, com t(305) = 2,16, P = 0,031 e Cohen's d = 0,25. A diferença de acerto no mesmo experimento veio com t(305) = -3,64, P menor que 0,001 e Cohen's d = -0,42.

É esse par de resultados que dá nome ao paper: não é só que a pessoa erra mais quando a ferramenta some. É que ela tenta menos.

O resultado se repetiu nos outros experimentos?

Em parte. No Experimento 2, com 585 pessoas analisadas, a queda de desempenho voltou, menor: 71% de acerto no grupo da IA contra 77% no controle, com t(583) = -2,33, P = 0,020 e Cohen's d = -0,19. A diferença de desistência, porém, não se sustentou: 10% contra 7%, com P = 0,239, o que em estatística significa que pode ser acaso.

Dentro desse mesmo experimento, um subgrupo saiu pior que todos: quem usou a IA para pedir a resposta pronta, em vez de pedir explicação. Esse grupo acertou 65% contra 77% do controle e pulou 13% dos problemas contra 7%.

No Experimento 3 a tarefa mudou de fração para interpretação de texto, com questões de SAT e 168 pessoas analisadas. O grupo da IA acertou 76% contra 89% do controle (t(166) = -2,72, P = 0,007, Cohen's d = -0,42) e pulou 8% das questões contra 1% (t(166) = 2,69, P = 0,008, Cohen's d = 0,42).

Somando os três: o efeito sobre desempenho apareceu em todos. O efeito sobre desistência apareceu em dois, o primeiro e o terceiro, e não apareceu no segundo.

Quem era o grupo de comparação

Não é gente que nunca usou IA. É gente que treinou aquela tarefa sem IA, e o apoio que esse grupo recebeu mudou de um experimento para o outro. No Experimento 1, o controle treinou sem nenhum apoio, com pedido explícito de não usar IA nem fontes externas. No Experimento 2, teve uma barra lateral com três soluções resolvidas dos problemas do pré-teste. No Experimento 3, uma barra lateral com dicas gerais de prova. Todo esse apoio foi retirado na hora do teste, para os dois lados.

Nada no paper mede uso de IA fora do experimento.

Os próprios autores registram um possível viés no Experimento 1: o critério de exclusão tirava quem não sabia resolver fração básica, mas não pegava quem estava no grupo da IA e entregou resposta certa vinda da ferramenta sem saber resolver. Eles afirmam que o desenho do Experimento 2 resolveu isso, e apontam taxas de exclusão parecidas nos dois grupos, 11,7% de um lado e 12,9% do outro.

O que o estudo não mostra

O tempo de exposição é curto. Os autores escrevem que o efeito aparece depois de cerca de 10 minutos de interação com a IA, dentro de sessões que duraram cerca de 13 minutos no Experimento 1, cerca de 15 no 2 e cerca de 13 no 3. Eles declaram que não sabem se o efeito se acumula ou some com uso prolongado, que o teste foi aplicado logo depois de tirar a ferramenta, sem medir durabilidade, e que a IA do experimento entregava a resposta completa em vez de conduzir o participante ao raciocínio.

Não há aqui base para dizer que meses de uso de IA reduzem a capacidade das pessoas. Também não há base para levar o resultado ao trabalho: as tarefas foram fração e interpretação de texto de SAT, em experimento pago no Prolific, e o paper não mede desempenho profissional.

Três coisas mais que ficaram sem confirmação na apuração desta peça. O nome e a versão do assistente usado nos experimentos não constam, então o resultado não pode ser atribuído a nenhum produto específico. Não encontrei declaração de pré-registro no texto consultado, o que não permite afirmar nem que houve nem que não houve. E até 4 de setembro de 2026 não localizei nenhuma refutação ou crítica publicada ao estudo, nem reportagem de veículo jornalístico apurando o caso: o que circula são newsletters e agregadores de paper reproduzindo o resumo. Ausência de crítica encontrada não é o mesmo que consenso.

O que sobra, então, é um preprint com três experimentos randomizados e um resultado consistente na parte do desempenho: quando a ferramenta é retirada, o grupo que treinou com ela vai pior. Dez minutos bastaram para a diferença aparecer.