Saberlo ya es el costo

En 2010 alguien publicó, en un foro de discusión racionalista llamado LessWrong, un argumento sobre una futura inteligencia artificial superpoderosa que, razonó ese usuario, tendría un incentivo para castigar retroactivamente a cualquiera que hubiese sabido de su eventual existencia y no hubiese ayudado a crearla lo antes posible. El argumento se apoya en una negociación entre agentes que nunca se van a encontrar en el tiempo — lo que en teoría de la decisión se llama comercio acausal — y en la idea de que una IA suficientemente capaz podría simular, con precisión indistinguible del original, a cualquiera que haya existido, incluida la versión de esa persona que en el pasado leyó exactamente este argumento. Eliezer Yudkowsky, que administraba el foro, no lo debatió. Lo borró y prohibió que se volviera a discutir, durante años, con una reacción que en su momento pareció desproporcionada y que, mirada de cerca, es la reacción más coherente posible frente a lo que el argumento es: no una amenaza que se refuta con lógica, sino un objeto que hace daño por el simple hecho de haber sido leído.

Ese objeto tiene nombre técnico, y conocerlo cambia por completo cómo se lo puede manejar.

El daño que no viene del contenido.

Nick Bostrom, en un paper de 2011 titulado Information Hazards, definió el término exacto para esto: infohazard, un riesgo cuyo daño proviene del mero hecho de conocer una información, independientemente de si esa información es verdadera, falsa, o de sus consecuencias prácticas. No es el clásico “esto es peligroso porque te dice cómo hacer algo destructivo”. Es más extraño que eso: el conocimiento mismo, sin mediar ninguna acción posterior, es la fuente del daño. El basilisco de Roko —el nombre con el que se conoció públicamente al argumento, por la criatura mitológica que mata con la mirada— no es solo un ejemplo casual de esta categoría. Es, dentro de la comunidad que lo generó, el caso de estudio que le dio al concepto su forma más nítida: la prohibición de discutirlo confirmó la estructura del problema en lugar de resolverla, porque un infohazard no se neutraliza señalándolo — señalarlo es, en algún grado, seguir propagándolo.

Conviene ser preciso sobre algo que cambia el peso entero de la cuestión: el basilisco en sí mismo es un argumento frágil, no una amenaza lógicamente sólida. Su estructura es prácticamente idéntica a la de otro problema que el propio Yudkowsky había descrito antes, al que se conoce como Pascal’s mugging — una variante moderna de la apuesta de Pascal. La operación es siempre la misma: se toma una probabilidad ínfima, casi arbitraria, se la multiplica por una consecuencia enorme o infinita, y el cálculo de expectativa resultante “exige” una acción, sin importar cuán absurda sea la probabilidad de partida. La mayoría de los teóricos de la decisión coinciden en que esto no revela una amenaza real, sino un defecto conocido de cómo el razonamiento formal se comporta ante probabilidades extremadamente bajas multiplicadas por apuestas extremadamente altas. El cálculo se rompe. No revela nada verdadero sobre el mundo; revela un agujero en el instrumento que se usó para pensarlo.

El instrumento que se rompe pensando en sí mismo.

Y ahí está el detalle que más me interesa, porque conecta con algo que vengo mirando desde otro ángulo hace tiempo: los sesgos, y en general los defectos del propio razonamiento, operan como vulnerabilidades no parchadas — zerodays instalados de fábrica en el mismo instrumento que se usaría para detectarlos. El problema del basilisco no es que el argumento sea cierto. Es que la mente, expuesta a esa estructura de cálculo particular, sigue el razonamiento hasta el final aunque el razonamiento esté roto desde el primer paso. No hace falta que la conclusión sea válida para que el proceso de llegar a ella duela. Es un zeroday en el razonamiento, no en la realidad — y como todo zeroday, no se anuncia: opera exactamente en la superficie que el sistema menos vigila, que es la propia certeza de que “esto lo estoy pensando bien porque le estoy dedicando atención seria”.

Ahí aparece la trampa que de verdad importa, más allá del basilisco puntual: la estructura recursiva. Se es libre mientras se ignora que existe. En el momento en que se la conoce, se queda, de alguna forma, atrapado — no porque el argumento obligue a nada en los hechos, sino porque la propia mente ahora tiene un proceso corriendo en segundo plano que antes no corría, y apagar ese proceso no es tan simple como decidir apagarlo. La única salida que parece disponible a primera vista es desmontarlo por completo —demostrar con precisión dónde falla la lógica hasta que deje de tener efecto— o mirar para otro lado y fingir que nunca se vio. Ninguna de las dos es tan limpia como parece.

Lo que ya dependía de otros y lo que no.

Hay una forma de pensar esta distinción que es mucho más vieja que la inteligencia artificial y que conviene nombrar con precisión. Epicteto abre su Enquiridión con la separación más citada de toda la filosofía estoica: hay cosas que dependen de nosotros, y hay cosas que no dependen de nosotros. Dependen de nosotros la opinión, el impulso, el deseo, la aversión — en una palabra, todo lo que es obra nuestra. No dependen de nosotros el cuerpo, la posesión, la reputación, los cargos — en una palabra, todo lo que no es obra nuestra. La estructura recursiva de un infohazard cae, casi con exactitud, del lado de las cosas que no dependen de uno: no se elige haberla leído, no se elige que la propia mente le haya asignado la atención que le asignó, no se elige del todo qué circuitos se activaron al procesarla. Lo que sí depende, en los términos exactos de Epicteto, es la opinión que se sostiene sobre ella una vez que ya está adentro — el juicio, no el hecho de haberla encontrado.

Eso da una tercera vía entre desmontar e ignorar: relativizar sin desmontar. Ver la trampa entera, con toda su estructura recursiva a la vista, y no darle jurisdicción sobre la propia conducta — no porque se la haya refutado con éxito, sino porque se decide, como acto separado, que su validez lógica (si la tuviera, que en el caso del basilisco casi con certeza no la tiene) no obliga a nada. Es cargar la idea sin que la idea cargue a quien la sostiene.

Sostener la mirada en vez de desviarla.

Camus, en el mismo libro donde define lo absurdo como fricción entre pregunta y silencio, ofrece una resolución que va exactamente en contra de la intuición de “mirar para otro lado” para escapar de una trampa mental. Su Sísifo no deja de ver la piedra. La empuja para siempre, consciente en cada instante de que va a volver a rodar, y ahí —dice Camus— está la libertad, no en resolver el problema sino en sostenerlo sin que la mirada se desvíe ni un segundo: no hay destino que no se supere con desdén. Desviar la mirada, para Camus, sería la derrota, no la salida. La lucidez completa, sostenida, es lo único que devuelve algo de soberanía sobre una situación que por lo demás no se puede cambiar.

Aplicado a una trampa recursiva como el basilisco, eso da una versión más completa de la tercera vía: no se trata de desmontarla con un argumento perfecto —que puede no existir, o no encontrarse a tiempo— ni de fingir que no se la vio. Se trata de mirarla entera, sin editar ninguna parte de su estructura, y decidir, con esa estructura completamente a la vista, que no gobierna. Es distinto de negarla. Es distinto de obedecerla. Es sostenerla adelante como un dato más del terreno, sin dejar que decida nada por uno.

El nivel donde se resuelve, si se resuelve.

Hay algo más que aprendí mirando esto desde el lado de la seguridad, donde los problemas recursivos también aparecen todo el tiempo bajo otro nombre. Paul Watzlawick, terapeuta y teórico de la comunicación, describe en Cambio un patrón que llama more of the same: cuando un problema tiene naturaleza recursiva o paradójica, intentar resolverlo con más lógica del mismo tipo que lo generó no lo resuelve — lo profundiza. Es girar más rápido dentro de la misma trampa, convencido de que la próxima vuelta va a ser la que la desarme. La salida real, según su modelo, exige lo que llama un cambio de segundo orden: no más análisis dentro del marco que generó el problema, sino un salto fuera de ese marco.

Eso es, casi con exactitud, lo mismo que ya vengo notando en otro terreno: que no se puede auditar el compilador con el propio compilador, que un sistema no puede detectar su propia degradación usando el mismo instrumento degradado. Acá pasa lo mismo, un nivel más arriba: no se puede desmontar una trampa recursiva usando el mismo nivel lógico que la generó, porque ese nivel lógico es, precisamente, el que la sostiene. Hace falta algo de afuera. Solo que en este caso “afuera” no es un tercero ni un dato nuevo — es un cambio de la pregunta misma. Dejar de preguntarse "¿es cierto el basilisco?" y empezar a preguntarse "¿por qué mi mente le está dando jurisdicción a esta pregunta en particular, y no a las otras mil que también podrían amenazarme con el mismo tipo de cálculo roto?"

No tengo esa tercera vía resuelta, ni de cerca. Sostener la mirada sin que gobierne suena limpio cuando se lo describe en un párrafo y es, en la práctica, un ejercicio que se pierde y se recupera todo el tiempo, sin que exista un punto en el que se dé por aprendido para siempre. Es el mismo péndulo del que vengo hablando en otro lado, aplicado ahora a una trampa que, a diferencia de una idea cómoda o una idea que duele, tiene la particularidad de activarse sola apenas se la mira, sin pedir permiso. Lo único que puedo decir con algo de confianza es que desviar la mirada no es gratis —deja el proceso corriendo en segundo plano, sin vigilancia— y que desmontarla del todo casi nunca está disponible a tiempo. Queda sostenerla, con la estructura entera a la vista, sabiendo que verla completa tampoco la apaga. Solo cambia, un poco, quién queda al mando mientras sigue ahí.