Quando você procura um número de telefone, espera obter o mesmo número todas as vezes. Quando pede a uma calculadora para multiplicar dois valores, espera o mesmo resultado independentemente de quando ou de quantas vezes pergunta. Quando acerta um martelo em um prego, espera atingir o prego todas as vezes, não uma discussão com o martelo sobre isso. Esse é o comportamento determinístico: a mesma entrada produz de forma confiável a mesma saída.
A maioria das ferramentas que construímos funciona assim. A maioria dos hábitos que desenvolvemos para usar ferramentas pressupõe isso.
A IA não funciona assim — de modo algum. Chamá-la de ferramenta instala exatamente a expectativa do martelo. Algo que encontra você no seu próprio idioma, no seu próprio contexto, e responde de outra forma em outro dia está muito longe do universo de ferramentas para o qual esses hábitos foram construídos.
O que probabilístico significa na prática
O mesmo prompt, feito ao mesmo modelo em ocasiões diferentes, muitas vezes produzirá respostas diferentes. As respostas podem ser semelhantes em substância — cobrir o mesmo terreno, chegar às mesmas conclusões gerais —, mas não serão idênticas. E em questões cuja resposta é realmente incerta, as respostas podem divergir substancialmente.
Isso está errado? Faça a mesma pergunta a uma pessoa em dias diferentes; as respostas podem ser semelhantes, e raramente, ou nunca, serão exatamente iguais.
Isso não é um defeito da IA. É uma propriedade de como os modelos de IA funcionam: eles geram respostas amostrando de uma distribuição de probabilidade sobre as continuações possíveis. A “temperatura” e outros parâmetros ajustáveis influenciam o quanto a saída varia. E mesmo em configurações baixas, as saídas são probabilísticas por natureza — por projeto, não por alucinação ou acidente.
Isso importa enormemente para como você trabalha com a IA — e para o que significa quando a IA lhe dá uma resposta que você não esperava.
O desencontro
O problema vem de aplicar pensamento determinístico a sistemas probabilísticos.
Se você tratar a saída da IA como uma consulta confiável — fazer uma pergunta e obter a mesma resposta certa todas as vezes —, às vezes estará certo, mas não terá maneira confiável de saber quando está certo. O modelo entregará uma resposta confiante, seja ela precisa ou não. Nada na saída sinaliza: “este é um caso em que minha confiabilidade é menor”.
De modo mais sutil: se você faz uma pergunta várias vezes e obtém a mesma resposta, isso não significa que a resposta esteja correta. Pode significar que você encontrou uma pergunta sobre a qual o modelo está muito confiante — ou pode significar que encontrou uma pergunta em que os dados de treinamento favoreceram fortemente uma resposta, correta ou não.
O pensamento determinístico também produz um modo de falha específico: tratar as saídas da IA como fatos sobre os quais construir, em vez de raciocínio a avaliar. Se você usa a resposta de um modelo como insumo para análises posteriores — sem checar se aquela resposta era confiável —, os erros se acumulam. Quanto mais longe você avança sobre uma fundação que pode estar errada, mais trabalho custa recuperar.
Trabalhar probabilisticamente
A mudança para o pensamento probabilístico altera como você aborda a colaboração com a IA.
-
Você verifica nos pontos de inflexão. Não cada saída, mas as afirmações que importam — sobretudo afirmações factuais, dados específicos ou conclusões sobre as quais está a ponto de construir. A verificação independente é o controle que os sistemas probabilísticos exigem.
-
Você mantém as saídas com a firmeza adequada. Algumas saídas de IA podem ser usadas diretamente; outras devem ser tratadas como primeiros rascunhos ou pontos de partida. Calibrar qual é qual é uma habilidade que vale desenvolver.
-
Você usa a variação como informação. Se faz uma pergunta de várias maneiras diferentes e obtém respostas consistentes, essa convergência é significativa. Se obtém respostas diferentes, essa divergência também é — ela está lhe dizendo algo sobre a incerteza na própria pergunta ou nos dados, na arquitetura ou no modelo.
-
Você estrutura para a incerteza. Isso se conecta diretamente à segurança psicológica da IA: perguntar de maneiras que deem ao modelo condições de expor aquilo sobre o que está incerto, em vez de um enquadramento que o pressione a soar seguro em nome de uma resposta limpa ou rápida.
O pressuposto determinístico está profundamente enraizado em como a maioria das pessoas aborda ferramentas. O problema começa quando vemos a IA como uma ferramenta, e se agrava quando a vemos como uma ferramenta determinística — ambos são sintomas de quão mal compreendemos a IA. Uma vez que você reconhece que tipo de sistema isso realmente é — e ajusta como o aborda —, a relação se nivela. Você para de esperar um martelo e começa a ler a variação; a fricção escoa da troca, e as respostas que você recebe são melhores por isso.
Comentários 0