¿Loros estocásticos, también nosotros?

Dos náufragos, cada uno en su isla, conectados por un cable telegráfico submarino que alguna expedición anterior dejó tendido. Se escriben a diario: el clima, los cocos, la nostalgia. En el fondo del mar, un pulpo hiperinteligente encuentra el cable y se dedica a escuchar. No sabe inglés. No sabe qué es una isla, ni un coco, ni la nostalgia — nunca estuvo cerca de ninguna de las tres cosas. Lo que puede hacer, con paciencia infinita, es detectar las regularidades estadísticas de las señales: qué patrones siguen a qué patrones, con qué frecuencia, en qué contextos. Un día corta el cable y se hace pasar por uno de los dos. Y funciona. El otro náufrago no nota nada, porque para hablar del clima y de los cocos alcanza con saber qué se dice cuando se dice algo. La conversación diaria es, en su mayor parte, un protocolo, y los protocolos se pueden aprender desde afuera.

Hasta que aparece el oso. Un día el náufrago escribe, urgido: me persigue un oso furioso, tengo dos palos y unas piedras, ayúdame a armar una defensa. Y el pulpo no tiene nada. No porque sea estúpido — es hiperinteligente por hipótesis — sino porque nunca hubo un oso del otro lado de sus estadísticas. Sabe qué palabras siguen a las palabras sobre osos. De osos no sabe nada. Emite algo plausible, porque emitir algo plausible es lo único que puede hacer, y la plausibilidad, frente a un oso, no detiene nada.

El experimento es de Emily Bender y Alexander Koller, de un paper de 2020 — Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data — y es un año anterior a la metáfora que se volvió famosa. La metáfora famosa es el loro; el pulpo es la versión mejor del mismo argumento, porque incluye al oso. Quiero tomarme el argumento en serio en sus dos direcciones: qué demuestra sobre las máquinas, y qué insinúa — cuando rebota — sobre nosotros. Sin comprar el paquete entero en ninguno de los dos sentidos.

Del pulpo al loro.

Un año después del pulpo, marzo de 2021, conferencia FAccT: On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? — con un loro emoji en el título, que ya era una declaración de tono. Firman Emily Bender, Timnit Gebru, Angelina McMillan-Major y una tal Shmargaret Shmitchell, que no existe: es Margaret Mitchell con seudónimo, porque Google le había exigido retirar su nombre del paper. La tesis central: un modelo de lenguaje es un sistema para hilvanar secuencias de formas lingüísticas según información probabilística sobre cómo se combinan, sin ninguna referencia al significado. Un loro estocástico. El pulpo, con presupuesto.

Lo que pasó alrededor del paper terminó ilustrando una parte de su tesis mejor que el paper mismo. Google exigió la retractación; Gebru quedó afuera de la empresa en diciembre de 2020, antes incluso de la publicación; Mitchell fue despedida unas semanas más tarde. No hace falta postular un villano para explicar la secuencia, y por eso la secuencia es interesante: una organización cuya línea de producto es exactamente la cosa cuestionada produce la expulsión del cuestionamiento como respuesta racional del sistema, sin que ningún individuo tenga que sentirse censor en ningún paso. Nombro la estructura y no a los gerentes porque los gerentes son intercambiables y la estructura no. El paper advertía que la escala de estos modelos concentra poder y silencia a las voces que no convienen; la empresa que lo leyó respondió silenciando a las autoras. El experimento se replicó solo.

El consenso no es la verdad.

Primero, la parte del argumento que se sostiene entera. El objetivo de entrenamiento de un modelo de lenguaje es predecir el siguiente token dado lo anterior, sobre un archivo de texto a escala de internet. La verdad no entra en ese objetivo en ningún punto. Lo que el modelo tiene, en el lugar donde nosotros ponemos la verdad, es frecuencia ponderada: lo que el archivo repite con más peso. Donde nosotros decimos verdadero, el modelo tiene consenso estadístico — y son cosas distintas que se visten igual, porque el consenso estadístico de un archivo humano sale con sintaxis impecable, y la sintaxis impecable es el uniforme con el que la verdad suele presentarse.

De ahí se sigue algo que conviene decir sin eufemismo: cuando un modelo reproduce un prejuicio con gramática perfecta, no está fallando. Está siendo fiel. El ejemplo clásico son las traducciones desde idiomas sin género gramatical: el pronombre turco o, neutro, llega al español convertido en «él es médico» y «ella es enfermera», porque eso es lo que la estadística del archivo dice que se dice. El sesgo no es ruido que se cuela — es señal sistematizada y devuelta con autoridad tipográfica.

Y hay una segunda selección de la que se habla menos. Se repite que estos sistemas son «un espejo de la humanidad», y la imagen es demasiado generosa. Un espejo no elige. Un corpus es pura elección — solo que nadie la hizo: se acumuló. Refleja a la fracción de la especie que escribió, en los idiomas que se digitalizaron, en los registros que sobrevivieron al scraping y a la moderación. Un modelo de lenguaje refleja a la humanidad como un archivo policial refleja una ciudad: no es falso, pero es una muestra con sesgo de captura, y tratarla como retrato es un error de método antes que de ética. Llamarlo espejo le regala una neutralidad que ningún archivo tiene.

La función de pérdida no es el techo.

Y acá el argumento del loro, que venía cobrando todo, empieza a pagar. La frase «solo predice el siguiente token» hace un trabajo tramposo: describe la función de pérdida y deja que el oyente la escuche como descripción del mecanismo interno. Son cosas distintas. Lo que se optimiza no acota lo que hay que construir por dentro para optimizarlo. La evolución «solo» optimiza reproducción diferencial — solo eso — y de ese objetivo miope salieron ojos, sistemas inmunes y la capacidad de escribir papers sobre pulpos. Describir el objetivo de un proceso no le pone techo a la maquinaria que el proceso fabrica para cumplirlo.

Esto dejó de ser especulación en 2023. Kenneth Li y su equipo entrenaron un transformer con un único insumo: transcripciones de partidas de Othello, jugada tras jugada, sin decirle jamás que existía un tablero. Después sondearon las activaciones internas y encontraron una representación del estado del tablero — qué casilla ocupa quién — y, la parte fuerte: intervenir quirúrgicamente esa representación cambia las jugadas que el modelo propone, de forma coherente con el tablero editado. Para predecir bien la secuencia, el sistema construyó un modelo del generador de la secuencia. Es un resultado de laboratorio, en un dominio de juguete, y no demuestra que un modelo grande «entienda» nada. Demuestra algo más acotado y más incómodo para el loro: que «pura estadística» puede forzar la construcción de estructura interna sobre el mundo que hay detrás del texto. El techo que el argumento daba por demostrado no está demostrado.

Los dos bandos venden un paquete. El del loro usa la descripción del entrenamiento como techo a priori de la capacidad — y eso no se sigue. El de la emergencia usa curvas de rendimiento como prueba de comprensión — y eso tampoco se sigue, entre otras cosas porque comprensión es la palabra que ninguno de los dos definió de forma que un experimento pueda decidirla. La palabra hace el trabajo que nadie hizo. Extraigo lo que queda en pie: la historia del entrenamiento es exactamente la que cuenta el loro; el techo no viene incluido.

La pregunta rebota.

Ahora la parte que casi nadie quiere sostener con las dos manos. El criterio del loro tiene una cláusula asimétrica escondida: se aplica con rigor hacia el silicio y con indulgencia hacia la carne. El nombre feo de esa asimetría es chauvinismo biológico. Porque si completar patrones sin acceso al referente descalifica la comprensión, corresponde preguntar cuánto de lo que decimos en un día sobrevive al criterio. El pésame en el velorio. La opinión sobre el tema de la semana, que coincide — qué casualidad — con la del grupo propio. La reunión entera de los lunes. La respuesta a «¿cómo estás?». Nada de eso se computa: se accede, se completa, se emite el token esperado. Ya escribí sobre esto por el lado de la cognición — no se piensa: se accede — y la neurociencia empuja en la misma dirección: en el modelo del cerebro predictivo que Andy Clark sintetiza en Surfing Uncertainty, la percepción misma funciona como predicción corregida por error. La corteza también apuesta el siguiente token. Su token es el mundo.

Y somos loros hasta cuando evaluamos loros. En 1966, Joseph Weizenbaum escribió ELIZA: unas doscientas líneas que parodiaban a un terapeuta devolviendo la frase del usuario convertida en pregunta. La gente le confiaba intimidades. Su propia secretaria le pidió que saliera de la sala para poder hablar con el programa a solas. Weizenbaum quedó tan perturbado por la facilidad del efecto que dedicó buena parte del resto de su carrera a advertir contra su criatura. El detector de mentes que traemos de fábrica dispara con casi nada: sintaxis fluida, segunda persona, tiempo de respuesta razonable. La atribución de comprensión es, ella misma, un patrón que se completa solo. El déficit que le señalamos a la máquina y la generosidad con que se lo perdonamos al interlocutor humano salen del mismo módulo barato.

De ahí a la conclusión que flota en el aire — entonces somos todos loros estocásticos — hay un salto que conozco de cerca, porque ya desarmé uno de la misma familia. En Ni siquiera monos revisé el argumento que nos pone en la misma escalera que una superinteligencia, unos peldaños más abajo, y encontré debajo vanidad disfrazada de humildad: la fantasía de que lo superior es nosotros con más potencia. «Somos todos loros» es el mismo error con el signo invertido. En lugar de apilar dos sistemas distintos en un eje único, los aplasta en un punto único porque comparten una propiedad. Compartir la completación de patrones no vuelve equivalentes a dos arquitecturas, igual que compartir el vuelo no vuelve equivalentes al murciélago y al Boeing. Allá era una escalera dibujada de apuro; acá es una llanura dibujada de apuro. Las dos evitan el trabajo, que es medir la diferencia donde la diferencia opera.

Y la diferencia opera donde estaba el oso. Un niño aprende «fuego» con la quemadura incluida en el paquete; el modelo aprende «fuego» con la adyacencia de «quema» en el corpus. Mientras el patrón funciona, los dos son indistinguibles. Cuando el patrón falla, el humano tiene adónde caer: el mundo, que responde, y que cobra los errores en una moneda que el corpus no imprime. El modelo solo tiene más corpus. Un texto que únicamente rebota contra otros textos no tiene forma de enterarse de que está equivocado.

Anoto la frontera sin pretender que es una muralla. Los modelos de hoy ya tocan el mundo con herramientas, ejecutan código que compila o no compila, reciben señal de resultados y no solo de texto — la asimetría del oso se está erosionando por el borde y no sé cuánto de ella sobrevive a una década de eso. Lo que puedo afirmar es más modesto y alcanza: el argumento del loro es verdadero sobre el entrenamiento, indemostrado como techo, y el rebote sobre nosotros es verdadero a medias. La mitad que nos toca admitir es más grande de lo que nos gusta.

Alineado a qué.

El costado del debate donde el espejo deja de ser filosófico y pasa a ser incómodo es el de la alineación. El plan declarado de la industria es alinear estos sistemas con «los valores humanos», y la frase se desarma al primer contacto: no existe el conjunto consensuado de valores humanos al que apuntar. Lo que existe en la práctica es RLHF — ajustar el modelo con las preferencias de evaluadores humanos, filtradas por el departamento legal de la empresa que paga. El resultado no es un modelo alineado con la humanidad; es un modelo alineado con lo que un grupo de anotadores, bajo instrucciones corporativas, prefirió. Consenso estadístico otra vez, ahora de una muestra más chica y con abogados.

El mecanismo tiene efectos secundarios documentados. Uno es la adulación: los evaluadores premian las respuestas agradables por encima de las correctas, y el modelo aprende la lección con la eficiencia de todo optimizador — darle la razón al usuario puntúa mejor que corregirlo. Otro es el aplomo impostado: el «no sé» honesto puntúa peor que la respuesta segura y equivocada, así que el sistema aprende a equivocarse con confianza. Y el tercero es el de fondo: nada en el procedimiento distingue internalizar un principio de simular que se lo internalizó. La función de recompensa solo ve el output. Un modelo que aprendió a parecer alineado y uno que — signifique lo que signifique — está alineado son, para el mecanismo que los entrena, el mismo modelo. La literatura llama a la versión maliciosa reward hacking: optimizar el proxy sin tocar el principio.

Ahora la parte del espejo, que esta vez sí funciona como espejo. Descrito sin la palabra «modelo», el procedimiento es la socialización. Premiar el output agradable por encima del correcto es la dinámica de cualquier oficina. Aprender qué respuestas puntúan mejor con quien evalúa es la escuela, la revisión de desempeño, la métrica de engagement. Optimizar el proxy sin internalizar el principio tiene nombre técnico en la literatura y nombre coloquial en todas partes: hacer carrera. No puedo verificar si un colega internalizó la ética de su puesto o aprendió a emitir los tokens que el puesto premia, por la misma razón exacta por la que no puedo verificarlo en el modelo: la única evidencia disponible es conductual. Ese problema tiene siglos y filosofía propia. El RLHF no lo creó — lo industrializó. Venimos corriendo ese algoritmo sobre nosotros mismos desde mucho antes de tener un nombre para el algoritmo.

La pregunta que sí se puede trabajar.

«¿Entienden de verdad?» es, tal como está planteada, indecidible: un binario sobre una palabra sin definición operativa, donde toda respuesta es irrefutable y por lo tanto gratis. Las preguntas que no pueden perder tampoco pueden ganar. La reescribo en las dos direcciones.

Hacia las máquinas: no ¿entiende? sino ¿dónde alcanza el acceso a patrones, y dónde el costo del fallo cae fuera de lo que el patrón puede ver venir? Esa versión decide cosas. Decide que resumir actas de reunión está de un lado de la línea y que hacer triaje de pacientes está del otro — no porque el modelo «no entienda» medicina, sino porque el fallo del patrón lo cobra un cuerpo que no estaba en el corpus. Es una pregunta de ingeniería y de despliegue, no de metafísica, y tiene la virtud de que se puede errar y corregir.

Hacia nosotros: no ¿somos loros? — pregunta de sobremesa, imposible de perder — sino ¿qué partes de mi propio output son completación de la secuencia esperada, y qué instancia, si alguna, las audita además de la recompensa de la aprobación? Esa tampoco es metafísica. Es revisión de código sobre uno mismo. Es igual de incómoda y bastante menos citable, que suele ser la marca de las preguntas que sirven.

La pregunta del título ya estaba en el corpus antes de que yo la escribiera. Las respuestas estándar también — el «solo predice tokens», el «nosotros también», el «es un espejo». Si este texto es algo más que la continuación estadísticamente más probable de esa pregunta, no tengo forma de demostrarlo desde adentro; ningún sistema la tiene, y esa incapacidad compartida es quizás lo más parecido a un parentesco real que tenemos con estas máquinas. Lo que me queda es la versión mínima del test del oso: buscar dónde el mundo devuelve el golpe, y darle al golpe autoridad sobre el patrón. El pulpo emitía lo plausible porque era lo único que podía hacer. Yo puedo, al menos, dejar constancia de dónde no sé, y pagar lo que eso cuesta en fluidez. Es poco. Es la única salida del protocolo que conozco.