Imagine pedir ao ChatGPT uma indicação de livro sobre um tema e receber título, autor e até um resumo caprichado. Aí você vai procurar na livraria e descobre que o livro não existe. Nunca existiu.
Isso tem nome: alucinação. É quando a IA apresenta uma informação falsa como se fosse verdade, com o mesmo tom seguro de quando acerta. Isso não é um defeito raro nem um bug que vai sumir na próxima atualização. É uma consequência direta de como essas ferramentas funcionam.
No post anterior, contei o que aprendi sobre como um modelo de IA é, no fundo, um adivinhador da próxima palavra. Desta vez, quis me aprofundar em por que esse mesmo mecanismo faz ele inventar coisas, e o que dá para fazer a respeito.
Ele busca o que soa certo, não o que é certo
A IA escolhe, pedaço por pedaço, a continuação mais provável do texto. O detalhe que fez tudo clicar para mim é que "mais provável" não é o mesmo que "verdadeiro".
Pense num título de livro. O modelo leu milhares de títulos e sabe muito bem como eles costumam soar: "O Poder do Hábito", "A Arte da Guerra", "O Jeito Certo de Liderar". Quando alguém pede uma indicação sobre um tema específico e ele não tem uma resposta forte guardada, ele faz o que sempre faz: monta a combinação de palavras que parece um título de livro sobre aquele tema. O resultado soa perfeito. Só não existe.
A comparação que me ajudou: é como aquele colega de escola que não estudou para a prova oral, mas fala com tanta segurança que convence. Ele sabe como uma boa resposta soa, mesmo sem saber a resposta.
E o ponto central é este: o modelo não tem um mecanismo interno que separa "isto eu sei" de "isto eu estou supondo". Para ele, as duas coisas são o mesmo processo de adivinhar a próxima palavra.
Por que ele simplesmente não diz "não sei"?
Essa foi a primeira pergunta que me veio à cabeça, e a resposta está em como esses modelos são treinados.
Durante o treinamento, o modelo é recompensado por dar respostas úteis e completas. Pense numa prova de múltipla escolha em que errar não tira ponto: chutar sempre compensa mais do que deixar em branco. Por muito tempo, os modelos aprenderam algo parecido. Arriscar uma resposta costumava ser mais bem avaliado do que admitir que não sabia.
Além disso, nos textos que ele leu, quase ninguém escreve "não sei". Livros, artigos e sites são escritos por quem tem algo a afirmar. Então o padrão que ele absorveu é o de sempre responder com segurança.
A parte animadora é que as empresas por trás dessas ferramentas sabem disso e estão trabalhando para que os modelos reconheçam melhor os próprios limites. Os modelos mais recentes alucinam bem menos do que os de alguns anos atrás e dizem "não tenho certeza" com mais frequência. Mas o problema diminuiu, não desapareceu.
Onde ela aparece com mais frequência
A IA costuma acertar bem o que aparece muitas vezes nos textos que leu, como "a capital da França é Paris". O risco parece crescer quando o assunto é específico, raro ou exige precisão:
- Citações e fontes. Livros, artigos científicos, links e frases atribuídas a pessoas famosas são campeões de invenção.
- Números e datas. Estatísticas, valores, anos de eventos pouco conhecidos.
- Pessoas e empresas pequenas. Se alguém não é muito conhecido, o modelo tende a "completar" a biografia com detalhes plausíveis.
- Leis, regras e prazos. Um artigo de lei inventado ou desatualizado pode soar exatamente como um real.
- Acontecimentos recentes. O que aconteceu depois da data de corte do treinamento simplesmente não está lá, e o modelo pode tentar preencher a lacuna.
O que me chama atenção nessa lista é que esses são justamente os detalhes que dão credibilidade a um texto. É isso que torna a alucinação traiçoeira: ela aparece onde a gente mais confiaria.
Alguns hábitos que ajudam
Não dá para desconfiar de tudo, mas alguns hábitos fazem bastante diferença:
- Conferir o que é importante. Se a informação vai para um trabalho, um documento ou uma decisão de saúde ou dinheiro, vale checar numa fonte confiável antes.
- Pedir as fontes e abrir os links. Se o link não abre ou o livro não aparece numa busca rápida, é sinal de alerta.
- Dar permissão para ele não saber. Escrever algo como "se você não tiver certeza, diga que não sabe" ajuda bastante.
- Usar a busca na web quando disponível. Quando a ferramenta pesquisa na internet, ela se apoia em páginas reais em vez de só na memória do treinamento, e costuma mostrar de onde tirou a informação.
- Entregar o material junto. Em vez de perguntar "o que diz o contrato?", colar o contrato e pedir a análise. Com o texto na frente, a chance de inventar cai muito.
- Desconfiar de respostas boas demais. Uma citação perfeita, um número redondo, um estudo que confirma exatamente o que a gente queria ouvir: vale uma checagem extra.
Para fechar
O que fica para mim: a IA inventa coisas porque foi construída para gerar o texto mais plausível, não para checar se ele é verdadeiro. Na maior parte do tempo, plausível e verdadeiro andam juntos, e é por isso que ela acerta tanto. Mas quando não andam, ela erra com a mesma cara de quem acertou.
Isso não torna essas ferramentas menos úteis. Elas continuam ótimas para escrever, resumir, explicar e ter ideias. Só pede que a gente as trate como um assistente muito talentoso e um pouco confiante demais: ótimo para começar o trabalho, mas que precisa de alguém revisando antes de assinar embaixo.
Se você já pegou a IA inventando alguma coisa, fico curioso para saber o que foi.