Cinco puntos por la ira

Hay países que tuvieron veinte años para aprender a convivir con internet. Myanmar tuvo tres. Bajo la junta militar, una tarjeta SIM llegó a costar lo que un auto usado; todavía en 2013 rondaba los doscientos dólares, que en el ingreso local la volvía un artículo de lujo. En 2014 el mercado de telecomunicaciones se abrió, entraron operadores extranjeros, y la SIM pasó a costar un dólar y medio. Los teléfonos se vendían con Facebook preinstalado; el programa Free Basics hacía que usar Facebook no descontara datos, y usar el resto de internet sí. El resultado está documentado en decenas de entrevistas de la época con la misma frase, dicha por gente distinta en ciudades distintas: acá Facebook es internet. Un país entero hizo su alfabetización digital en el mismo lustro, sin prensa libre previa, sin cultura de verificación, sin nada — y aterrizó completo en un solo feed.

Lo que lo esperaba en ese feed no era neutral. Estaba el movimiento 969 y monjes como Wirathu — al que la revista Time puso en tapa en 2013 como «el rostro del terror budista» — publicando que los musulmanes rohingya eran perros, violadores, una invasión demográfica. Y detrás, algo peor que un predicador: una operación militar encubierta. La investigación del New York Times de 2018 la dimensionó — alrededor de setecientos operadores del ejército administrando páginas falsas de celebridades, de noticias, de ídolos nacionales, sembradas durante años con contenido anti-rohingya, seguidas por millones de cuentas.

El 25 de agosto de 2017, tras un ataque de la insurgencia rohingya a puestos policiales, el ejército lanzó sus «operaciones de limpieza» en el estado de Rakhine. Médicos Sin Fronteras estimó al menos 6.700 rohingya muertos solo en el primer mes, unos 730 de ellos niños menores de cinco años. Más de 700.000 personas cruzaron a Bangladesh. El Alto Comisionado de la ONU para los Derechos Humanos lo llamó «un ejemplo de manual de limpieza étnica»; Estados Unidos lo reconoció formalmente como genocidio en 2022. Y la misión investigadora de la ONU hizo algo que no tenía precedente en un informe de ese género: nombró a una plataforma. El rol de las redes sociales fue «determinante», dijo el presidente de la misión. Una relatora fue menos diplomática: «Facebook se ha convertido en una bestia».

Quiero entender qué hizo exactamente el algoritmo ahí. Sin la coartada de la neutralidad técnica y sin la comodidad de un monstruo — porque las dos cosas, que parecen opuestas, terminan sirviendo al mismo interés.

El coeficiente.

El feed de Facebook no muestra lo que existe; muestra lo que predice que va a generar interacción. Esa es toda la máquina: un ranking que ordena el contenido por engagement esperado — clics, comentarios, reacciones, tiempo de permanencia — porque el engagement es inventario publicitario y el inventario es ingreso. En febrero de 2016 la empresa agregó las reacciones: el corazón, la risa, el asombro, la ira. Y en algún momento de 2017, en la fórmula de ranking, una reacción con emoji pasó a valer cinco veces más que un like. Cualquier emoji. Incluida la ira.

Nadie escribió «promover el odio» en ninguna parte. Alguien escribió un peso en una fórmula. Pero el contenido que más reacciones de ira genera es, de manera bastante estable, el contenido que indigna — y el que indigna con más eficiencia es el falso, el tribal, el que señala a un enemigo. El sistema no necesitaba entender nada de eso: le alcanzaba con medir. Detectó que la indignación retenía, la sirvió, midió que retenía más, la sirvió más. Los investigadores internos de la propia empresa lo confirmaron después: el contenido premiado por la reacción de ira tenía una probabilidad desproporcionada de ser desinformación y toxicidad. El informe de Amnistía Internacional de 2022 sobre Myanmar usa un verbo exacto para lo que ese mecanismo hizo con la propaganda militar: no la toleró — la amplificó proactivamente. Las páginas del ejército no gritaban en una plaza vacía. Tenían un megáfono que las elegía.

El final del coeficiente también es instructivo. Tras años de debate interno, el peso de la ira se recortó por etapas hasta que en septiembre de 2020 lo pusieron en cero. Apagarlo costó, literalmente, un cambio de configuración. Lo caro nunca fue el arreglo. Lo caro — para el modelo de negocio — era quererlo.

La amoralidad existe. La coartada no.

La parte de la tesis que se sostiene entera es la de la amoralidad. Un algoritmo de recomendación no odia a los rohingya. No sabe que existen. No tiene ideología, ni crueldad, ni intención — tiene una función objetivo y un gradiente, y desciende por el gradiente hacia el objetivo con la indiferencia perfecta de toda optimización. Si la polarización es el camino más corto hacia la métrica, el sistema toma ese camino con la misma neutralidad con que un río baja por la pendiente. Ya escribí sobre esta estructura dos veces: la razón como optimizadora de medios sin ningún órgano que evalúe los fines, en Ni siquiera monos, y la función de recompensa que no distingue el principio internalizado de su simulación, en ¿Loros estocásticos, también nosotros?. El feed de Myanmar es el mismo mecanismo sin laboratorio: un optimizador al que nadie le enseñó qué no maximizar.

Y ahí es donde suele entrar la metáfora que quiero desarmar: que la tecnología sin gobernanza es «una fuerza de la naturaleza», un huracán acelerado que devora el tejido social. La imagen tiene fuerza y una parte de verdad — la escala, la falta de intención, la inutilidad de gritarle. Pero hace un trabajo sucio debajo de la mesa: a las fuerzas de la naturaleza no se les puede pedir cuentas. Nadie demanda al huracán. Y este huracán tenía oficinas.

Porque la secuencia documentada no es la de un desastre imprevisible. Es la contraria. Los documentos internos que cita Amnistía muestran que la empresa tenía señales del problema en Myanmar desde 2012. En 2015, David Madden — un emprendedor tecnológico radicado en Yangón — viajó a la sede de Menlo Park y les dijo, delante de diapositivas, que Facebook corría el riesgo de ser en Myanmar lo que la radio había sido en Ruanda. No era una hipérbole de activista: era la analogía técnicamente correcta, hecha en el lugar correcto, con años de anticipación. Del otro lado de esas advertencias, la inversión: durante los años críticos, los revisores de contenido que hablaban birmano se contaron en cifras de un dígito — para millones de usuarios. Recién en 2018, con el daño hecho y las cámaras encendidas, la cifra subió a sesenta.

Cada año que esa asimetría no produjo una catástrofe visible funcionó como confirmación de que era aceptable. Diane Vaughan le puso nombre a ese mecanismo estudiando la explosión del Challenger: normalización de la desviación — la anomalía que no explota hoy se vuelve el parámetro de mañana, sin que nadie decida nunca, en ninguna reunión, aceptar el riesgo completo. Nadie eligió el desenlace. Todos eligieron el presupuesto.

El idioma que el sistema no leía.

Hay un detalle técnico enterrado en este caso que me parece más elocuente que cualquier editorial, y es un problema de codificación de caracteres. El birmano digital de esos años no usaba Unicode: usaba mayoritariamente Zawgyi, una codificación local no estándar, incompatible con la norma, que hacía que el mismo texto fuera legible para un humano con la fuente correcta e ilegible para casi cualquier sistema automático. Los clasificadores de discurso de odio de la empresa — los pocos que había — y hasta la búsqueda simple de cadenas fallaban contra Zawgyi. La migración plena del país a Unicode llegó recién en 2019.

Dicho crudo: durante los años en que el feed amplificaba llamados a la deshumanización de una minoría, la maquinaria de protección de la plataforma no podía leer el idioma del país. Y acá está la asimetría que resume el modelo de negocio en una frase: la maquinaria de monetización no tenía ese problema. Medir engagement no requiere entender el contenido — un clic es un clic en cualquier codificación, la ira retiene en Zawgyi igual que en Unicode. La extracción de valor era agnóstica del idioma; el cuidado era específico del idioma, y lo específico cuesta plata. El sistema entero podía cobrar en birmano años antes de poder moderar en birmano, y esa diferencia de fechas no es un accidente técnico: es la lista de prioridades de la organización, escrita en el único lenguaje que las organizaciones no pueden falsear, que es el orden en que gastan.

El conflicto es el modelo.

Nada de lo anterior requiere ejecutivos malvados, y esa es la parte que más cuesta sostener con las dos manos. El conflicto es estructural: en la economía de la atención, proteger a la gente casi siempre significa reducir viralidad, y reducir viralidad es reducir inventario publicitario. Los documentos internos filtrados en 2021 muestran esa tensión en su forma más desnuda — propuestas del equipo de integridad rechazadas o diluidas cuando su costo en engagement era medible. No porque alguien quisiera el daño: porque el daño era difuso, lejano y ajeno, y la métrica era concreta, trimestral y propia.

Un mercado chico, sin ingresos publicitarios relevantes, en un idioma sin moderadores y con una codificación que rompe las herramientas, es — dentro de esa lógica — un lugar donde subinvertir en seguridad es la respuesta racional de cada trimestre individual. Ningún trimestre decidió la catástrofe. La estructura la fue acumulando en cuotas. Es mi observación de siempre, y la repito porque este caso la encarna mejor que ninguno: cuando algo falla así, buscar al negligente es mirar el dedo. El sistema diseñó el espacio donde la negligencia era lo que cualquier actor razonable, evaluado por esas métricas, iba a hacer.

Contribuir no es causar.

Ahora la desagregación que el caso exige, porque sin ella esto se vuelve panfleto y el panfleto siempre paga de más. Facebook no causó el genocidio rohingya. Los machetes y los fusiles tenían dueños con nombre: la operación fue planificada y ejecutada por el Tatmadaw, y la misión de la ONU encontró en sus generales intención genocida. Decir «Facebook causó un genocidio» no solo es falso — es un regalo: le permite a la empresa refutar la versión exagerada y dar por refutada la verdadera. La palabra exacta del informe de Amnistía es otra, y es peor precisamente porque es exacta: contribuyó sustancialmente. El fuego tenía autores. El fuelle tenía dueños, advertencias con fecha y un manual de operación optimizado para soplar.

La analogía de Ruanda que Madden llevó a Menlo Park tiene una segunda mitad que casi nunca se cita. Nadie sostiene que la radio RTLM causó el genocidio ruandés; sus directivos fueron condenados igual, por un tribunal internacional, porque la incitación es un crimen propio, no un accesorio. Pero ahí la categoría legal encajaba: los locutores de RTLM leían nombres al aire, con intención. El feed no tiene intención — y por esa rendija se escapa la categoría entera. Nuestro aparato de responsabilidad está construido alrededor del ánimo: busca un mens rea, alguien que haya querido. El sistema sociotécnico moderno distribuye el daño exactamente a través de ese hueco: la intención no está en ninguna parte y el daño está en todas. El derecho busca un ánimo y el sistema solo ofrece un gradiente. Mientras esa brecha no se cierre, «nadie lo quiso» va a seguir funcionando como sinónimo operativo de «nadie responde» — y son dos frases distintas.

La pregunta con dueño.

«¿Cómo pudo un algoritmo provocar esto?» es la pregunta equivocada, y está equivocada de un modo interesante: le regala agencia al código y absolución a la empresa en el mismo gesto. Mientras la pregunta apunte al algoritmo, la respuesta va a ser un informe técnico, y los informes técnicos no tienen imputados.

Las preguntas que sí tienen respuesta son aburridas y por eso incómodas. Quién eligió la función objetivo, y contra qué alternativas. Quién leyó las advertencias de 2012, de 2014, de 2015, y qué costaba atenderlas — la respuesta está en números de un dígito de moderadores y en una migración de Unicode que llegó dos años tarde. Cuánto ahorró cada año de demora y quién pagó la diferencia. Esa última tiene incluso una escena que la responde sola: cuando organizaciones de jóvenes rohingya en los campos de refugiados de Bangladesh le pidieron a Meta un millón de dólares para educación — una fracción del daño, pedida como remedio —, la respuesta fue que «Facebook no participa directamente en actividades filantrópicas». Un millón de dólares eran unos trece minutos de la facturación de la empresa en 2017. Las cuentas del perdón las hace el mismo departamento que las demás cuentas.

Vuelvo a la fuerza de la naturaleza, para cerrarle la puerta. La metáfora describe bien el mecanismo — ciego, sin intención, indiferente — y describe mal todo lo demás: los huracanes no reciben presentaciones con la palabra «Ruanda» cinco años antes de tocar tierra, no archivan sus propias advertencias internas, no deciden presupuestos de moderación y no facturan por la velocidad del viento. Llamar naturaleza a un producto es el último servicio que la metáfora les presta a sus dueños. El algoritmo no odió a nadie; por eso mismo no puede cargar con la culpa — no hay nadie adentro. Afuera sí había gente. Había una función objetivo elegida entre otras posibles, una lista de advertencias con remitente y fecha, y un coeficiente que le pagaba cinco a la ira y uno a todo lo demás.

Escribo esto sabiendo que va a circular por tuberías parecidas a las que describe, rankeado por algo que optimiza algo que no elegí. No tengo forma de salirme del feed; nadie la tiene ya. Lo único que está a mi alcance es no escribir para el coeficiente — no cobrar en indignación lo que debería cobrarse en precisión. No sé si este texto lo logra. Sé que la ira era el camino corto, acá también, y que el camino corto tiene el peaje escondido en la letra chica: lo pagan otros, más tarde, lejos del cajero.