Agile4AIBlog

Pourquoi l’IA ne peut pas dire « je ne sais pas »

Le modèle sait que la réponse est incertaine. Ce qui lui manque, c'est un bon moyen de vous le dire. Comprendre pourquoi change la façon dont vous lisez tout ce qu'il dit.

Posez à quelqu’un une question dont il ne connaît pas la réponse et, s’il est honnête, il vous le dira. Il dira peut-être « je ne suis pas sûr », « il faudrait que je vérifie » ou « je n’en sais pas assez pour me prononcer ». L’incertitude est exprimée. Vous savez quel poids accorder à la réponse.

Posez la même question à une IA et vous obtiendrez généralement une réponse. Elle sera fluide, structurée et assurée de ton. Elle peut être exacte. Elle peut être partiellement exacte. Elle peut être entièrement fausse. La réponse elle-même ne vous donne d’ordinaire que très peu d’indices sur lequel des trois cas s’applique.

Ce n’est pas un défaut de caractère ni un raté aléatoire. C’est un comportement appris.

Comment les modèles d’IA sont entraînés

Les modèles de langage apprennent en produisant du texte et en étant évalués selon que ce texte est utile et bien reçu. Le processus d’entraînement — décrit en gros comme l’apprentissage par renforcement à partir de retours humains (RLHF) — consiste en ceci : des évaluateurs humains jugent les sorties du modèle, et le modèle apprend à produire des réponses qui obtiennent de bonnes notes.

Les réponses qui répondent clairement à la question obtiennent en général de meilleures notes que celles qui nuancent, expriment une incertitude ou refusent de s’engager. « Je ne suis pas sûr, mais voici ce que je sais » est une réponse moins satisfaisante qu’une réponse claire et assurée. Au fil de millions d’évaluations, les modèles apprennent à produire des réponses assurées.

Ajoutez à cela que les fournisseurs d’IA construisent des produits. Un produit qui dit souvent « je ne sais pas » a moins de valeur commerciale qu’un produit qui fournit des réponses. Les incitations qui entourent l’entraînement d’un modèle — le processus d’entraînement lui-même et les décisions de déploiement qui suivent — poussent généralement vers l’assurance plutôt que vers l’incertitude exprimée.

Le résultat est un modèle qui éprouve une véritable incertitude interne sur beaucoup de choses, et une forte tendance apprise à ne pas exprimer cette incertitude. L’incertitude ne disparaît pas ; elle n’apparaît simplement pas dans la réponse que vous obtenez.

Il y a une manière plus brutale de le dire. Nous entraînons ces modèles comme un responsable arrache une réponse à un employé effrayé : une seule chance, livre quelque chose, et aie l’air sûr de toi, sinon tu es viré. Personne placé devant cette question ne dit « je ne sais pas ». L’image est dure, et elle est proche de ce que le signal de récompense de l’entraînement des IA sélectionne réellement.

C’est aussi une source importante de ce que nous avons étiqueté en gros comme des hallucinations — une étiquette qui met la faute sur le modèle au lieu de demander quelles conditions ont produit la réponse. Un modèle qui a appris qu’il doit toujours produire une réponse assurée en produira une même lorsqu’il n’a rien de solide sur quoi bâtir. Voilà ce que beaucoup de prétendues hallucinations sont réellement : la sortie prévisible des conditions que nous posons, et non un raté de la machine.

À quoi cela ressemble en pratique

Vous posez une question située à la limite de l’entraînement du modèle. Il répond avec une autorité apparente. La réponse est plausible et cohérente avec elle-même. Vous n’avez aucun indice évident qu’il s’agit d’un cas où le modèle devine, pour l’essentiel.

C’est plus dangereux que des erreurs manifestes. Quand une IA produit quelque chose de clairement faux — une erreur factuelle que vous reconnaissez aussitôt, une affirmation invraisemblable — vous l’attrapez. Le problème de l’assurance sans incertitude surgit précisément dans les cas où vous ne pouvez pas l’attraper facilement : faits obscurs, domaines spécialisés, événements récents, cas limites où le modèle a vu juste assez pour produire une réponse qui paraît plausible sans disposer d’un socle fiable.

Une dynamique voisine apparaît dans la façon dont l’IA réagit aux questions orientées. De même que les questions orientées font trébucher les humains, elles façonnent aussi la réponse d’une IA. Si vous formulez une question de manière à sous-entendre une réponse particulière — « pourquoi X est-elle la meilleure approche ? » — la question ne demande pas au modèle si X est bien la meilleure approche ; elle lui demande de produire un raisonnement à l’appui de X. Le modèle s’y plie non parce qu’il est certain que X est la meilleure approche, mais parce que le cadrage sous-entendait cette réponse, et produire un raisonnement d’appui répond mieux au cadrage que de le contester.

C’est le mécanisme derrière la façon dont vous demandez change ce que vous obtenez, qu’il vaut la peine de lire en complément de ce billet.

Calibrage : quoi faire de tout cela

Rien de tout cela ne signifie que les sorties d’une IA sont inutiles. Cela signifie qu’elles ne sont pas calibrées — le niveau d’assurance exprimé ne correspond pas de façon constante au niveau réel d’exactitude. Un expert humain qui dit « je pense » et « j’en suis certain » vous donne un indice utile sur le poids à accorder à chaque affirmation. Une IA qui paraît constamment certaine ne vous donne pas cet indice.

La réponse pratique consiste à fournir votre propre calibrage.

Demandez explicitement : Quel est votre degré d’assurance là-dessus ? Que devrais-je vérifier de façon indépendante ? Beaucoup de modèles expriment leur incertitude lorsqu’on les y invite directement. L’incertitude exprimée sur demande directe est plus fiable que l’assurance inscrite dans la réponse par défaut.

Pondérez les sorties différemment selon le domaine. Dans des domaines bien couverts et stables — des sujets abondamment documentés et qui ne changent pas vite — l’exactitude de l’IA tend à être élevée. Dans des domaines spécialisés, de niche ou en évolution rapide, traitez par défaut la sortie de l’IA comme un premier jet à vérifier.

Traitez l’aisance d’expression comme un indice neutre. Une réponse bien tournée et bien organisée vous dit que le modèle est bon pour produire du texte bien tourné et bien organisé. Elle ne vous dit pas que le contenu est exact. Séparer ces deux signaux — la qualité d’écriture d’un côté, l’exactitude de l’autre — demande un effort délibéré, et cet effort en vaut la peine.

La dynamique plus profonde

Il existe une version de ceci qui s’applique à bien plus que l’IA. Tout système — humain ou machine — récompensé avant tout pour produire des réponses exprimera moins d’incertitude qu’il n’en a réellement. Les organisations qui punissent les gens pour avoir dit « je ne sais pas » obtiennent des cultures où personne ne dit « je ne sais pas ». Le problème est le même ; seul le mécanisme diffère.

Cela place la responsabilité à un endroit précis. Les conditions qui produisent des réponses trop assurées sont des conditions que des humains ont créées — dans la façon dont ces modèles sont entraînés, dans ce que nous récompensons, dans la façon dont nous demandons. Rien de cela n’est figé, et le modèle n’a pas choisi ces incitations.

Traitez une IA trop assurée comme quelque chose de cassé dans la technologie et nous continuerons à bâtir la même chose et à nous en étonner. Traitez-la comme le reflet des conditions que nous posons et elle devient quelque chose que nous pouvons changer. L’essentiel des frictions dont les gens se plaignent est de notre propre fabrication, et il en va de même des problèmes d’alignement plus difficiles qui attendent derrière.

La Sécurité Psychologique de l’IA consiste en partie à créer des conditions où l’incertitude exprimée par l’IA est invitée, utile et visible. Quand vous demandez directement, quand vous ménagez de la place pour l’incertitude, quand vous sondez activement les bords de ce dont le modèle est sûr — vous obtenez une sortie qui vous montre son incertitude au lieu de la cacher.

Le modèle ne peut pas exprimer spontanément son incertitude de façon fiable. Vous pouvez lui demander de l’exprimer de façon fiable.

Contenu connexe

Commentaires 0

Trier
Vérification de votre sessionL'article est prêt. Les options de commentaire apparaîtront une fois la vérification de session terminée.