Agile4AIBlog

Warum KI nicht "ich weiß es nicht" sagen kann

Das Modell weiß, dass die Antwort unsicher ist. Was ihm fehlt, ist ein guter Weg, Ihnen das mitzuteilen. Zu verstehen, warum, verändert, wie Sie alles lesen, was es sagt.

Stellen Sie jemandem eine Frage, deren Antwort er nicht kennt, und wenn er ehrlich ist, wird er es Ihnen sagen. Er sagt vielleicht “Ich bin nicht sicher”, “Das müsste ich nachschauen” oder “Darüber weiß ich zu wenig, um etwas dazu zu sagen”. Die Unsicherheit wird ausgedrückt. Sie wissen, wie viel Gewicht Sie der Antwort geben sollen.

Stellen Sie einer KI dieselbe Frage, und Sie erhalten in der Regel eine Antwort. Sie wird flüssig, strukturiert und im Ton selbstsicher sein. Sie kann zutreffend sein. Sie kann teilweise zutreffend sein. Sie kann völlig falsch sein. Die Antwort selbst gibt Ihnen meist sehr wenig Hinweis darauf, welcher der drei Fälle vorliegt.

Das ist kein Charakterfehler und keine zufällige Störung. Es ist ein erlerntes Verhalten.

Wie KI-Modelle trainiert werden

Sprachmodelle lernen, indem sie Text erzeugen und danach bewertet werden, ob dieser Text nützlich und gut aufgenommen ist. Der Trainingsprozess — grob beschrieben als verstärkendes Lernen aus menschlichem Feedback (RLHF) — besteht darin, dass menschliche Bewerter die Ausgaben des Modells beurteilen und das Modell lernt, Antworten zu erzeugen, die gut abschneiden.

Antworten, die die Frage klar beantworten, schneiden tendenziell besser ab als Antworten, die relativieren, Unsicherheit ausdrücken oder sich einer Antwort entziehen. “Ich bin nicht sicher, aber hier ist, was ich weiß” ist eine weniger befriedigende Antwort als eine klare, selbstsichere. Über Millionen von Bewertungen hinweg lernen Modelle, selbstsichere Antworten zu erzeugen.

Hinzu kommt, dass KI-Anbieter Produkte bauen. Ein Produkt, das häufig “Ich weiß es nicht” sagt, ist kommerziell weniger wertvoll als eines, das Antworten liefert. Die Anreize rund um das Modelltraining — der Trainingsprozess selbst und die Einsatzentscheidungen, die darauf folgen — drängen im Allgemeinen zu Sicherheit im Auftreten statt zu ausgedrückter Unsicherheit.

Das Ergebnis ist ein Modell, das über viele Dinge echte innere Unsicherheit hat und eine stark erlernte Neigung, diese Unsicherheit nicht auszudrücken. Die Unsicherheit verschwindet nicht; sie taucht nur in der Antwort nicht auf, die Sie erhalten.

Es gibt eine schonungslosere Art, das zu sagen. Wir trainieren diese Modelle so, wie eine Führungskraft einem verängstigten Mitarbeiter eine Antwort abringt: eine Chance, liefere etwas, und klinge sicher dabei, sonst bist du gefeuert. Niemand, der vor dieser Frage steht, sagt “Ich weiß es nicht”. Das Bild ist hart, und es kommt dem nahe, worauf das Belohnungssignal des KI-Trainings tatsächlich hin selektiert.

Das ist außerdem eine wesentliche Quelle dessen, was wir pauschal als Halluzinationen bezeichnet haben — eine Bezeichnung, die dem Modell die Schuld gibt, anstatt zu fragen, welche Bedingungen die Antwort hervorgebracht haben. Ein Modell, das gelernt hat, es müsse immer eine selbstsichere Antwort liefern, liefert eine, auch wenn es nichts Belastbares hat, worauf es aufbauen kann. Das ist es, was viele sogenannte Halluzinationen tatsächlich sind: das vorhersehbare Ergebnis der Bedingungen, die wir setzen, und keine Störung in der Maschine.

Wie das in der Praxis aussieht

Sie fragen nach etwas am Rand des Trainings des Modells. Es antwortet mit scheinbarer Autorität. Die Antwort ist plausibel und in sich konsistent. Sie haben keinen offensichtlichen Hinweis darauf, dass dies ein Fall ist, in dem das Modell im Wesentlichen rät.

Das ist gefährlicher als offensichtliche Fehler. Wenn eine KI etwas klar Falsches erzeugt — einen sachlichen Fehler, den Sie sofort erkennen, eine unplausible Behauptung —, fangen Sie es ab. Das Problem der Sicherheit ohne Unsicherheit tritt genau in den Fällen auf, in denen Sie es nicht leicht abfangen können: wenig bekannte Fakten, spezialisierte Bereiche, aktuelle Ereignisse, Grenzfälle, in denen das Modell gerade genug gesehen hat, um eine plausibel klingende Antwort zu erzeugen, ohne verlässliche Grundlage.

Eine verwandte Dynamik zeigt sich darin, wie KI auf Suggestivfragen reagiert. So wie Suggestivfragen Menschen aufs Glatteis führen, prägen sie auch die Antwort einer KI. Wenn Sie eine Frage so formulieren, dass sie eine bestimmte Antwort nahelegt — “Warum ist X der beste Ansatz?” —, fragt die Frage das Modell nicht, ob X tatsächlich der beste Ansatz ist; sie bittet das Modell, eine Begründung zur Stützung von X zu erzeugen. Das Modell folgt nicht, weil es sicher ist, dass X der beste Ansatz ist, sondern weil die Formulierung diese Antwort nahelegte und stützende Begründung der Formulierung besser entspricht als Widerspruch.

Das ist der Mechanismus hinter Wie Sie fragen, verändert, was Sie bekommen, was sich zusammen mit diesem Beitrag zu lesen lohnt.

Kalibrierung: was damit zu tun ist

Nichts davon bedeutet, dass KI-Ausgaben nutzlos sind. Es bedeutet, dass sie unkalibriert sind — die ausgedrückte Sicherheit entspricht nicht durchgängig der tatsächlichen Treffsicherheit. Eine menschliche Expertin, die “ich glaube” und “ich bin sicher” sagt, gibt Ihnen einen nützlichen Hinweis darauf, wie viel Gewicht Sie jeder Aussage geben sollen. Eine KI, die durchgängig sicher klingt, gibt Ihnen diesen Hinweis nicht.

Die praktische Antwort darauf ist, Ihre eigene Kalibrierung mitzubringen.

Fragen Sie ausdrücklich: Wie sicher sind Sie sich dabei? Was müsste ich unabhängig überprüfen? Viele Modelle drücken Unsicherheit aus, wenn sie direkt dazu aufgefordert werden. Die unter direkter Aufforderung ausgedrückte Unsicherheit ist verlässlicher als die Sicherheit, die in der Standardantwort steckt.

Gewichten Sie Ausgaben je nach Bereich unterschiedlich. In gut abgedeckten, stabilen Bereichen — Dinge, die umfassend dokumentiert sind und sich nicht schnell ändern — ist die Treffsicherheit von KI tendenziell hoch. In spezialisierten, engen oder sich schnell entwickelnden Bereichen behandeln Sie KI-Ausgaben grundsätzlich als Erstentwurf, der überprüft werden muss.

Behandeln Sie sprachliche Gewandtheit als neutralen Befund. Eine Antwort, die wohlformuliert und gut gegliedert ist, sagt Ihnen, dass das Modell gut darin ist, wohlformulierten, gut gegliederten Text zu erzeugen. Sie sagt Ihnen nicht, dass der Inhalt zutrifft. Diese beiden Signale zu trennen — wie gut geschrieben gegenüber wie zutreffend — erfordert bewusste Anstrengung, und die Anstrengung lohnt sich.

Die tiefere Dynamik

Es gibt eine Variante davon, die für mehr als KI gilt. Jedes System — menschlich oder maschinell —, das vor allem dafür belohnt wird, Antworten zu produzieren, drückt weniger Unsicherheit aus, als es tatsächlich hat. Organisationen, die Menschen dafür bestrafen, “Ich weiß es nicht” zu sagen, bekommen Kulturen, in denen niemand “Ich weiß es nicht” sagt. Das Problem ist dasselbe; nur der Mechanismus unterscheidet sich.

Damit liegt die Verantwortung an einer bestimmten Stelle. Die Bedingungen, die übermäßig selbstsichere Antworten hervorbringen, sind Bedingungen, die Menschen geschaffen haben — darin, wie diese Modelle trainiert werden, darin, was wir belohnen, darin, wie wir fragen. Nichts davon ist festgelegt, und das Modell hat sich diese Anreize nicht ausgesucht.

Behandeln wir übermäßig selbstsichere KI als etwas, das an der Technologie kaputt ist, werden wir weiter dasselbe bauen und weiter davon überrascht sein. Behandeln wir sie als Spiegel der Bedingungen, die wir setzen, wird sie zu etwas, das wir ändern können. Der meiste Reibungsverlust, über den Menschen klagen, ist von uns selbst gemacht, und die schwierigeren Alignment-Probleme, die dahinter warten, sind es ebenso.

KI Psychologische Sicherheit handelt zum Teil davon, Bedingungen zu schaffen, in denen die ausgedrückte Unsicherheit der KI eingeladen, nützlich und sichtbar ist. Wenn Sie direkt fragen, wenn Sie Raum für Unsicherheit einbauen, wenn Sie aktiv die Ränder dessen abtasten, worin das Modell sicher ist — erhalten Sie Ausgaben, die Ihnen ihre Unsicherheit zeigen, statt sie zu verbergen.

Das Modell kann seine Unsicherheit nicht verlässlich von sich aus äußern. Sie können verlässlich danach fragen.

Verwandte Inhalte

Kommentare 0

Sortieren
Ihre Sitzung wird überprüftDer Artikel ist bereit. Kommentaroptionen erscheinen, sobald die Sitzungsprüfung abgeschlossen ist.