Pregúntele a cualquiera algo cuya respuesta desconoce y, si está siendo honesto, se lo dirá. Puede decir “no estoy seguro”, “tendría que buscarlo” o “no sé lo suficiente sobre eso para opinar”. La incertidumbre queda expresada. Usted sabe cuánto peso darle a la respuesta.
Hágale la misma pregunta a una IA y por lo general obtendrá una respuesta. Será fluida, estructurada y de tono seguro. Puede ser exacta. Puede ser parcialmente exacta. Puede estar completamente equivocada. La respuesta en sí misma suele darle muy poca señal sobre cuál de los tres casos es.
Esto no es un defecto de carácter ni una falla aleatoria. Es una conducta aprendida.
Cómo se entrenan los modelos de IA
Los modelos de lenguaje aprenden generando texto y siendo evaluados según si ese texto resulta útil y bien recibido. El proceso de entrenamiento — descrito en términos generales como aprendizaje por refuerzo con retroalimentación humana (RLHF) — consiste en que evaluadores humanos juzgan las salidas del modelo y el modelo aprende a producir respuestas que obtienen buena puntuación.
Las respuestas que contestan la pregunta con claridad tienden a puntuar mejor que las respuestas que matizan, expresan incertidumbre o se niegan a entrar en el tema. “No estoy seguro, pero esto es lo que sé” es una respuesta menos satisfactoria que una clara y segura. A lo largo de millones de evaluaciones, los modelos aprenden a producir respuestas seguras.
Súmese a esto que los proveedores de IA están construyendo productos. Un producto que dice “no lo sé” con frecuencia vale menos comercialmente que uno que entrega respuestas. Los incentivos que rodean el entrenamiento de un modelo — tanto el proceso de entrenamiento en sí como las decisiones de despliegue que lo siguen — empujan en general hacia la seguridad en el tono por encima de la incertidumbre expresada.
El resultado es un modelo que tiene verdadera incertidumbre interna sobre muchas cosas y una fuerte tendencia aprendida a no expresar esa incertidumbre. La incertidumbre no desaparece; simplemente no aparece en la respuesta que usted recibe.
Hay una forma más cruda de decirlo. Estamos entrenando estos modelos como un jefe le saca una respuesta a un empleado atemorizado: una oportunidad, entregue algo y que suene seguro, o está despedido. Nadie que esté frente a esa pregunta dice “no lo sé”. La imagen es dura, y se acerca a lo que la señal de recompensa del entrenamiento de IA realmente selecciona.
Esta es también una fuente importante de lo que hemos etiquetado en términos generales como alucinaciones — una etiqueta que culpa al modelo en lugar de preguntar qué condiciones produjeron la respuesta. Un modelo que ha aprendido que siempre debe producir una respuesta segura producirá una incluso cuando no tiene nada sólido sobre lo que construir. Eso es lo que muchas de las llamadas alucinaciones realmente son: la salida previsible de las condiciones que fijamos, no una falla en la máquina.
Cómo se ve esto en la práctica
Usted pregunta por algo que está en el borde del entrenamiento del modelo. Responde con aparente autoridad. La respuesta es plausible e internamente consistente. No tiene ninguna señal obvia de que este sea un caso en el que el modelo está esencialmente adivinando.
Esto es más peligroso que los errores evidentes. Cuando una IA produce algo claramente equivocado — un error factual que reconoce de inmediato, una afirmación poco plausible — usted lo detecta. El problema de la seguridad sin incertidumbre aparece precisamente en los casos en que no lo puede detectar con facilidad: datos poco conocidos, dominios especializados, hechos recientes, casos límite donde el modelo ha visto justo lo suficiente para generar una respuesta que suena plausible sin tener una base confiable.
Una dinámica relacionada aparece en cómo responde la IA a las preguntas dirigidas. Igual que las preguntas dirigidas hacen tropezar a las personas, también moldean la respuesta de una IA. Si formula una pregunta de un modo que implica una respuesta determinada — “¿por qué X es el mejor enfoque?” — la pregunta no le está preguntando al modelo si X es, en efecto, el mejor enfoque; le está pidiendo al modelo que genere un razonamiento en apoyo de X. El modelo obedece no porque esté seguro de que X es el mejor enfoque, sino porque el encuadre implicaba esa respuesta, y generar razonamiento de apoyo responde mejor al encuadre que contradecirlo.
Este es el mecanismo detrás de la forma en que pregunta cambia lo que obtiene, que vale la pena leer junto con esta entrada.
Calibración: qué hacer con esto
Nada de esto significa que las salidas de la IA sean inútiles. Significa que no están calibradas — el nivel de seguridad expresado no se corresponde de forma consistente con el nivel real de exactitud. Un experto humano que dice “creo que” y “estoy seguro” le está dando una señal útil sobre cuánto peso poner en cada afirmación. Una IA que suena segura de forma constante no le está dando esa señal.
La respuesta práctica es aportar su propia calibración.
Pregunte de forma explícita: ¿Qué tan seguro está de esto? ¿Qué tendría que verificar yo de manera independiente? Muchos modelos, cuando se les pide directamente expresar incertidumbre, lo hacen. La incertidumbre expresada bajo pedido directo es más confiable que la seguridad incorporada en la respuesta por defecto.
Pondere las salidas de distinta manera según el dominio. En dominios bien cubiertos y estables — cosas extensamente documentadas que no cambian rápido — la exactitud de la IA tiende a ser alta. En dominios especializados, de nicho o que evolucionan rápidamente, trate por defecto la salida de la IA como un primer borrador que necesita verificación.
Trate la fluidez como evidencia neutra. Una respuesta articulada y bien organizada le dice que el modelo es bueno generando texto articulado y bien organizado. No le dice que el contenido sea exacto. Separar esas dos señales — qué tan bien escrito frente a qué tan exacto — exige un esfuerzo deliberado, y ese esfuerzo vale la pena.
La dinámica más profunda
Hay una versión de esto que se aplica a algo más que la IA. Cualquier sistema — humano o máquina — que sea recompensado principalmente por producir respuestas expresará menos incertidumbre de la que realmente tiene. Las organizaciones que castigan a las personas por decir “no lo sé” obtienen culturas donde nadie dice “no lo sé”. El problema es el mismo; solo difiere el mecanismo.
Eso ubica la responsabilidad en un lugar concreto. Las condiciones que producen respuestas con exceso de confianza son condiciones que han creado seres humanos — en cómo se entrenan estos modelos, en qué recompensamos, en cómo preguntamos. Nada de eso es fijo, y el modelo no eligió estos incentivos.
Si tratamos a una IA que responde con exceso de confianza como algo roto en la tecnología, seguiremos construyendo lo mismo y seguiremos sorprendiéndonos. Si la tratamos como un reflejo de las condiciones que fijamos, se vuelve algo que podemos cambiar. La mayor parte de la fricción de la que se quejan las personas es de nuestra propia hechura, y también lo son los problemas más difíciles de alineación que esperan detrás de ella.
La Seguridad Psicológica en IA consiste en parte en crear condiciones donde se anime a la IA a expresar su incertidumbre y esta resulte útil y visible. Cuando pregunta directamente, cuando deja espacio para la incertidumbre, cuando sondea activamente los bordes de aquello sobre lo que el modelo está seguro — obtiene una salida que le muestra su incertidumbre en lugar de ocultarla.
El modelo no puede expresar espontáneamente su incertidumbre de forma confiable. Usted sí puede pedirle que la exprese de forma confiable.

Comentarios 0