A gente abre o ChatGPT ou o Claude, digita uma pergunta e, em poucos segundos, recebe uma resposta bem escrita, como se alguém do outro lado tivesse pensado nela. Mas não tem ninguém lá. Neste post compartilho um pouco sobre o que acontece por trás desse processo.
A versão curta é surpreendentemente simples: a ferramenta está adivinhando, palavra por palavra, qual é a continuação mais provável do texto. Parece simples demais para explicar algo tão impressionante, mas, pelo que fui descobrindo, é basicamente isso, feito numa escala gigantesca.
Primeiro, a pergunta vira pedacinhos
O computador não lê como a gente. Antes de tudo, o texto é quebrado em pedaços menores, chamados tokens. Um token pode ser uma palavra inteira, um pedaço de palavra ou até um sinal de pontuação.
A frase "Qual é a capital da França?", por exemplo, pode virar algo como: Qual · é · a · capital · da · Fran · ça · ?
Cada pedacinho é então transformado em números, porque é com números que a máquina realmente trabalha. A forma que achei mais fácil de imaginar é como uma tradução da pergunta para a "língua" do computador.
Depois, o modelo adivinha a próxima palavra, uma de cada vez
Essa foi a parte que mais me chamou atenção. O modelo olha para o texto que já existe e calcula qual pedacinho tem mais chance de vir em seguida.
Todo mundo conhece uma versão bem simples disso: o corretor do celular, que sugere a próxima palavra enquanto a gente digita. Escrevendo "bom", ele sugere "dia". Um modelo como o ChatGPT ou o Claude faz algo parecido, só que de um jeito muito, muito mais sofisticado.
O processo funciona mais ou menos assim:
- O modelo lê a pergunta inteira.
- Escolhe o pedacinho mais provável para começar a resposta. Por exemplo: "A".
- Junta esse pedacinho ao texto e lê tudo de novo.
- Escolhe o próximo: "capital". Depois "da", "França", "é", "Paris".
- Repete até concluir que a resposta acabou.
Isso explica algo que eu sempre achei curioso: a resposta aparece na tela aos poucos, como se alguém estivesse digitando. Ela está, literalmente, sendo construída pedaço por pedaço, em tempo real.
Outro detalhe interessante: o modelo nem sempre escolhe a opção número um. Às vezes ele pega a segunda ou a terceira mais provável. É isso que deixa as respostas mais naturais, e também por isso a mesma pergunta pode gerar respostas um pouco diferentes.
De onde vem esse "conhecimento"?
O modelo consegue adivinhar bem porque leu uma quantidade absurda de texto antes de chegar até nós: livros, sites, artigos, códigos, conversas públicas. Um volume que uma pessoa levaria milhares de vidas para ler.
Nessa fase, chamada treinamento, ele faz um exercício repetido bilhões de vezes: esconde a próxima palavra de um trecho, tenta adivinhar, confere se acertou e se ajusta um pouquinho. Com o tempo, vai ficando muito bom nisso.
O que achei interessante é que, para adivinhar bem a próxima palavra, ele acaba captando muita coisa pelo caminho: gramática, fatos, estilos de escrita, a lógica de um argumento. Ninguém ensinou explicitamente que Paris é a capital da França. Ele "aprendeu" porque essa combinação aparece milhares de vezes nos textos que leu.
A analogia que mais me ajudou: é como alguém que leu uma biblioteca inteira e ficou com uma intuição enorme sobre como as frases costumam continuar, mas sem ter guardado os livros, página por página.
E por que ele responde como um assistente educado?
Um modelo que só aprendeu a continuar textos não seria muito útil numa conversa. Diante de "Qual é a capital da França?", ele poderia simplesmente continuar com outra pergunta, como numa lista de exercícios: "Qual é a capital da Itália?".
Por isso existe uma segunda etapa, uma espécie de "escola de boas maneiras". Pessoas reais escrevem exemplos de boas respostas e avaliam as respostas do modelo: esta é útil, esta é confusa, esta é inadequada. O modelo é ajustado para seguir o padrão das respostas bem avaliadas.
É nessa fase que ele aprende a responder perguntas em vez de só continuar o texto, a ser claro e educado, e a recusar pedidos perigosos. O jeito de "falar" do ChatGPT e do Claude parece vir muito daqui, e é uma das razões de cada um ter um estilo um pouco diferente.
O que ele não é
Entender essa ideia do "adivinhador de palavras" me ajudou a desfazer algumas impressões que eu tinha:
- Ele não consulta um banco de respostas prontas. Cada resposta é montada na hora, pedaço por pedaço.
- Ele nem sempre pesquisa na internet. Por padrão, responde com o que aprendeu no treinamento, que tem uma data de corte. Algumas versões conseguem buscar na web, mas isso é um recurso extra, não o funcionamento básico.
- Ele pode errar com total confiança. Como o objetivo é gerar o texto mais plausível, às vezes ele inventa um dado, um livro ou uma citação que "soa certo". Isso tem até nome: alucinação.
- Ele não lembra da gente entre conversas (a não ser que a ferramenta tenha um recurso de memória ligado). Dentro da mesma conversa, ele relê tudo o que já foi dito a cada nova resposta, e é assim que "lembra" do contexto.
Para fechar
Juntando tudo: quando perguntamos algo a um ChatGPT ou Claude, o texto vira pedacinhos, o modelo usa o que aprendeu lendo uma montanha de textos para prever a continuação mais provável, e repete isso palavra por palavra até completar a resposta. Não é mágica, nem uma pessoa escondida, nem um computador que "pensa" como a gente. É estatística em escala gigantesca, e mesmo assim o resultado continua me impressionando.
Saber disso mudou um pouco o jeito como eu uso essas ferramentas:
- Dar contexto faz diferença. Quanto mais o modelo sabe sobre a situação, melhor ele adivinha o que é preciso. "Me ajude com um e-mail" rende bem menos do que "Me ajude a escrever um e-mail educado para meu chefe pedindo para sair mais cedo na sexta".
- Vale conferir o que é importante. Datas, números, nomes e fontes merecem uma checagem, principalmente em temas de saúde, dinheiro ou direito.
- Reformular ajuda. Quando a resposta não fica boa, mudar a pergunta muda as "pistas" que o modelo usa para adivinhar.
No fim das contas, essas ferramentas são ótimas parceiras para escrever, resumir, explicar e ter ideias. Entender um pouco de como funcionam ajuda a tirar mais proveito delas. Se você também usa alguma, fico curioso para saber o que mais te surpreendeu.