Agile4AIBlog

Por que a IA não consegue dizer "não sei"

O modelo sabe que a resposta é incerta. O que ele não tem é um bom jeito de lhe dizer isso. Entender por quê muda como você lê tudo o que ele diz.

Faça a alguém uma pergunta cuja resposta a pessoa não sabe e, se ela estiver sendo honesta, vai lhe dizer. Talvez diga “não tenho certeza”, “eu precisaria consultar” ou “não sei o suficiente sobre isso para opinar”. A incerteza é expressa. Você sabe quanto peso dar à resposta.

Faça a mesma pergunta a uma IA e você normalmente vai receber uma resposta. Ela será fluente, estruturada e segura no tom. Pode ser exata. Pode ser parcialmente exata. Pode estar completamente errada. A resposta em si costuma lhe dar muito pouco sinal sobre qual dos três casos é.

Isso não é um defeito de caráter nem uma falha aleatória. É um comportamento aprendido.

Como os modelos de IA são treinados

Modelos de linguagem aprendem gerando texto e sendo avaliados conforme esse texto seja útil e bem recebido. O processo de treinamento — descrito em termos amplos como aprendizado por reforço com feedback humano (RLHF) — consiste em avaliadores humanos julgarem as saídas do modelo, e o modelo aprender a produzir respostas que pontuam bem.

Respostas que responderem claramente à pergunta tendem a pontuar melhor do que respostas que relativizam, expressam incerteza ou se recusam a entrar no assunto. “Não tenho certeza, mas aqui está o que eu sei” é uma resposta menos satisfatória do que uma resposta clara e segura. Ao longo de milhões de avaliações, os modelos aprendem a produzir respostas seguras.

Some-se a isso que os fornecedores de IA estão construindo produtos. Um produto que diz “não sei” com frequência vale menos comercialmente do que um que entrega respostas. Os incentivos em torno do treinamento de um modelo — tanto o processo de treinamento em si quanto as decisões de implantação que vêm depois — empurram em geral para a segurança no tom em vez da incerteza expressa.

O resultado é um modelo que tem verdadeira incerteza interna sobre muitas coisas e uma forte tendência aprendida a não expressar essa incerteza. A incerteza não desaparece; ela apenas não aparece na resposta que você recebe.

Há uma forma mais crua de dizer isso. Estamos treinando esses modelos como um gestor arranca uma resposta de um funcionário com medo: uma chance, entregue algo e soe seguro, ou você está demitido. Ninguém colocado diante dessa pergunta diz “não sei”. A imagem é dura, e é próxima daquilo que o sinal de recompensa do treinamento de IA de fato seleciona.

Essa é também uma fonte importante do que rotulamos de modo amplo como alucinações — um rótulo que culpa o modelo em vez de perguntar que condições produziram a resposta. Um modelo que aprendeu que precisa sempre produzir uma resposta segura vai produzir uma mesmo quando não tem nada sólido sobre o que construir. É isso que muitas das chamadas alucinações realmente são: a saída previsível das condições que definimos, e não uma falha na máquina.

Como isso aparece na prática

Você pergunta sobre algo na borda do treinamento do modelo. Ele responde com aparente autoridade. A resposta é plausível e internamente consistente. Você não tem nenhum sinal óbvio de que este é um caso em que o modelo está essencialmente adivinhando.

Isso é mais perigoso do que erros evidentes. Quando uma IA produz algo claramente errado — um erro factual que você reconhece de imediato, uma afirmação implausível — você pega. O problema da segurança sem incerteza aparece justamente nos casos em que você não consegue pegar com facilidade: fatos pouco conhecidos, domínios especializados, acontecimentos recentes, casos limite em que o modelo viu o suficiente para gerar uma resposta que soa plausível sem ter base confiável.

Uma dinâmica parecida aparece em como a IA responde a perguntas tendenciosas. Assim como perguntas tendenciosas induzem as pessoas ao erro, elas também moldam a resposta de uma IA. Se você formula uma pergunta de um jeito que sugere uma resposta específica — “por que X é a melhor abordagem?” — a pergunta não está perguntando ao modelo se X é, de fato, a melhor abordagem; está pedindo ao modelo que gere um raciocínio em apoio a X. O modelo atende não porque esteja certo de que X é a melhor abordagem, mas porque o enquadramento sugeria aquela resposta, e gerar raciocínio de apoio responde melhor ao enquadramento do que contrariá-lo.

Esse é o mecanismo por trás de como você pergunta muda o que você recebe, que vale a leitura junto com este texto.

Calibração: o que fazer com isso

Nada disso significa que as saídas de IA sejam inúteis. Significa que elas não estão calibradas — o nível de segurança expresso não corresponde de forma consistente ao nível real de exatidão. Um especialista humano que diz “eu acho” e “eu tenho certeza” está lhe dando um sinal útil sobre quanto peso colocar em cada afirmação. Uma IA que soa consistentemente certa não está lhe dando esse sinal.

A resposta prática é fornecer a sua própria calibração.

Pergunte explicitamente: Qual é o seu grau de segurança nisso? O que eu precisaria verificar de forma independente? Muitos modelos, quando solicitados diretamente a expressar incerteza, expressam. A incerteza expressa sob solicitação direta é mais confiável do que a segurança embutida na resposta padrão.

Pondere as saídas de forma diferente por domínio. Em domínios bem cobertos e estáveis — coisas extensamente documentadas e que não mudam rápido — a exatidão da IA tende a ser alta. Em domínios especializados, de nicho ou em evolução rápida, trate por padrão a saída da IA como um primeiro rascunho que precisa de verificação.

Trate a fluência como evidência neutra. Uma resposta articulada e bem organizada lhe diz que o modelo é bom em gerar texto articulado e bem organizado. Não lhe diz que o conteúdo é exato. Separar esses dois sinais — quão bem escrito contra quão exato — exige esforço deliberado, e o esforço vale a pena.

A dinâmica mais profunda

Existe uma versão disso que se aplica a mais do que a IA. Qualquer sistema — humano ou máquina — recompensado principalmente por produzir respostas vai expressar menos incerteza do que de fato tem. Organizações que punem pessoas por dizer “não sei” ficam com culturas em que ninguém diz “não sei”. O problema é o mesmo; só o mecanismo difere.

Isso coloca a responsabilidade em um lugar específico. As condições que produzem respostas excessivamente seguras são condições criadas por seres humanos — em como esses modelos são treinados, no que recompensamos, em como perguntamos. Nada disso é fixo, e o modelo não escolheu esses incentivos.

Trate uma IA excessivamente segura como algo quebrado na tecnologia e vamos continuar construindo a mesma coisa e continuar nos surpreendendo com ela. Trate-a como um reflexo das condições que definimos e ela se torna algo que podemos mudar. A maior parte do atrito de que as pessoas reclamam é de nossa própria autoria, e os problemas mais difíceis de alinhamento que esperam atrás dele também são.

Segurança Psicológica em IA trata, em parte, de criar condições em que a incerteza expressa pela IA seja convidada, útil e visível. Quando você pergunta diretamente, quando deixa espaço para a incerteza, quando sonda ativamente as bordas daquilo sobre o que o modelo está seguro — você recebe uma saída que lhe mostra a incerteza dela em vez de esconder.

O modelo não consegue expressar espontaneamente a própria incerteza de forma confiável. Você consegue pedir que ele a expresse de forma confiável.

Conteúdo relacionado

Comentários 0

Ordenar
Verificando sua sessãoO artigo está pronto. As opções de comentário aparecerão quando a verificação de sessão for concluída.