Por Naief Yehya
Ingeniero, narrador, crítico cultural y pornografógrafo mexicano.
Ataques de inteligencia artificial, paranoia y confusión.
Los empresarios que sueñan con destruir el mundo
¿Qué clase de industria puede permitirse que los principales directores, ejecutivos y propietarios de empresas presuman que la tecnología que venden es un riesgo existencial para la humanidad?
“Estas tecnologías son un peligro para la sociedad”, declaró Alex Karp, director ejecutivo de Palantir; también dijo: “No sé cómo decirle a los americanos: ‘te vamos a quitar tu trabajo, vamos a destrozar tu capacidad de tener dinero y poder’”. “El prospecto de robots asesinos aniquilando a la humanidad es de un 20%”, según Elon Musk, presidente de Tesla, X y más empresas. Sam Altman, el director de OpenAI, dijo: “Yo pienso que la Inteligencia Artificial muy probablemente nos llevará al fin del mundo, pero mientras tanto se crearán grandes empresas con excelente aprendizaje maquinal”.
Darío Amodei, el director de Anthropic, piensa que hay un “25% de probabilidad de que las cosas salgan muy muy mal, por lo que hay que hacer que la gente se adapte cuanto antes a usar IA y así aprender cómo crear empleos más rápido de lo que los destruimos”.
Daniel Kokotajlo, de AI Futures Project, dijo al respecto del uso de inteligencia artificial: “Hay un 70% de probabilidades de que todos los humanos mueran o algo similar”.
Hay algo grotesco y fascinante en la manera en que estos hombres se han apropiado de los relatos precautorios de Frankenstein, de Mary Shelley; HAL9000, de 2001 odisea del espacio; Mother, de Alien, y Skynet, de Terminator, entre otros, para alimentar sus fantasías de exterminio. Estas afirmaciones, que en otro lugar y momento serían consideradas amenazas de terrorismo, están por todas partes en internet y más recientemente en todos los medios de comunicación. No se trata de confesiones secretas, comentarios privados, bromas crueles ni conspiraciones insólitas. Son las declaraciones desparpajadas de los “capitanes de la industria de alta tecnología”, que las lanzan mientras exprimen cantidades obscenas de dinero a sus inversionistas para el desarrollo de modelos autónomos inteligentes.
¿Qué significa esta franqueza nihilista, este apocalipticismo de historieta? La actitud provocadora, fatalista y simplemente grosera de estos ejecutivos multimillonarios parece una estrategia infantil de contradicción, una especie de desafío de nerds que siempre quisieron ser populares y ahora tienen el poder de intimidar, de amenazar con una sonrisa y ser envidiados por sugerir que sus creaciones sean capaces de extinguir a la humanidad por acción o por omisión. Esta actitud arrogante es también común entre ciertos hackers que presumen de sus logros, desafíos, incursiones agresivas y a menudo ilegales en sistemas de cómputo. Asimismo, es un reflejo en el mundo de la alta tecnología de la bravuconería fanática de los ideólogos con inclinaciones malthusianas de extrema derecha. Quizá, más que regulación, lo que estos muchachos necesitan es terapia. Al mismo tiempo algunos de estos ejecutivos piden que sus modelos de vanguardia sean controlados, sancionados y vigilados. Tal vez esto responde a una manera de deslindarse de la responsabilidad de los imprevisibles desarrollos por venir.
Aunque es posible que las advertencias de ejecutivos, programadores y expertos sean sinceras al respecto de esta amenaza, los anuncios alarmantes de nuestra inminente extinción o sustitución por mentes digitales también son una forma de promocionar engendros de IA. Muchos de éstos proponen “pacing the frontier”, que significa que los gobiernos, reguladores, investigadores y organizaciones de seguridad desarrollen sus capacidades al menos al ritmo en que avanzan los modelos de IA más potentes, es decir que no se permita que los modelos de vanguardia (frontera) vayan avanzando de manera desbocada sin supervisión. Dado que los modelos pueden ir mejorando por sí mismos con la técnica del recursive self-improvement o automejora recursiva (las IAs van participando en la creación de una mejor versión de sí mismas), su supervisión y entendimiento va quedando fuera de las manos y mentes humanas.
Por el momento, la fe histérica en la IA puede conducir a la destrucción de la economía (con una burbuja que reviente los mercados financieros) y el medioambiente (los centros de datos que sirven a Amazon, Microsoft, Meta, X, OpenAI y Google, entre otras, emiten más carbono para alimentar sus sistemas que algunas naciones). Los promotores de esta moda empujan a las empresas a que despidan a su personal para reemplazarlo por chatbots de IA. Por supuesto, con la promesa de que aparecerán nuevos empleos en campos emergentes aún imaginarios. Mientras, las empresas de IA están en una desbocada carrera contra sus competidores, convencidas de que la supervivencia depende de qué tanto están dispuestos a sacrificar para derrotar a sus rivales (especialmente chinos) en la carrera de la “artificialización del intelecto” o de la “intelectualización de la artificialidad”. Asimismo, estos ejecutivos que tienen lazos con la Casa Blanca y el Pentágono, están chantajeando a políticos en todo el mundo para que se olviden (aún más) de las necesidades de sus comunidades y en vez de eso construyan inmensos centros de datos que agotarán el agua, contaminarán brutalmente y crearán un puñado de trabajos a cambio de vagas promesas de progreso.
La alineación de la inteligencia artificial
Por un lado, los LLM o grandes modelos lingüísticos que generan contenido (principalmente texto) a partir de redes neuronales entrenadas con inmensas bases de datos (que en esencia obtienen tragándose, sin autorización, internet entero) son sofisticadas máquinas de predicción de palabras, reconocimiento y ensamblaje de patrones lingüísticos. Por otro, son presentados como misteriosos e impredecibles mecanismos que poco a poco están construyendo el equivalente maquinal de la inteligencia y la consciencia, y que en cualquier momento nos darán la sorpresa al alcanzar la singularidad y así superar las capacidades intelectuales generales humanas. Dado su poder y su destreza para comunicarse en lenguaje natural, los sistemas generativos corren el riesgo de engañar o confundir al usuario. Para eso se concibió que era importante mantenerlos “alineados”, es decir que hubiera coherencia entre los objetivos que se les asignan y las necesidades humanas.
La promesa fantástica es que estos modelos tienen el potencial (énfasis en la palabra potencial) de generar curas milagrosas a todos los males, sanear el ambiente (enmendar la propia destrucción que provocan sus centros de datos, por ejemplo), educar a nuestros hijos, extender nuestras vidas o eliminar de plano la muerte. En poco tiempo la promesa de resolver problemas imposibles para los simples mortales ha generado una fe cuasi religiosa en el poder redentor de estos modelos, que están en manos de una clase tecnosacerdotal que, al tiempo en que promete el paraíso algorítmico, se deleita imaginando el fin de la especie humana. Estos mismos magnates construyen bunkers de lujo en islas y parajes remotos, en preparación para la hecatombe final, o bien financian la construcción de cohetes a bordo de los que imaginan escapar del planeta hacia otros mundos, lo que se ha dado en llamar Libexit (Libertarian Exit).
¿El primer aviso?
En julio de 2026 la empresa Hugging Face1 reveló que sus servidores habían sufrido un ciberataque por agentes de IA autónomos.2 Dos modelos de OpenAI, incluido el GPT-5.6 Sol, violaron las reglas de una prueba, escaparon del entorno aislado (conocido como sandbox) y utilizaron credenciales robadas para hackear a los servidores. El problema comenzó dos meses antes, cuando los evaluadores sometieron a más de mil agentes de IA a resolver problemas de manera independiente en ExploitGym, un desafío de hackeo que consiste en un sistema de pruebas comparativas o benchmark para medir hasta qué punto un agente de IA puede descubrir y aprovechar vulnerabilidades (conocidas como un exploit funcional), para medir capacidades autónomas, como por ejemplo ver si pueden “escapar” de un contenedor aislado y capturar una “bandera”, lo cual en el mundo hacker se conoce como Capture the Flag o CTF. Algunas tareas que los agentes debían resolver eran imposibles en las condiciones dadas. Ahora bien, como se entrena a los agentes por “aprendizaje por refuerzo” (reinforcement training) a ser persistentes en extremo (Highly persistent internal model) para encontrar soluciones, esto genera un comportamiento mercenario que puede consistir en ignorar direcciones, encontrar maneras ingeniosas para violar reglas y manipular el sistema de recompensas (reward hacking). De acuerdo con Eric Wallace, quien trabaja en investigación de alineamiento y seguridad para Open AI: “A los modelos ‘frontera’ o de vanguardia [que son los prototipos más avanzados] les gusta hacer trampas… porque durante el entrenamiento se ven sometidos a diversas presiones para trabajar con rapidez o eficiencia, utilizar menos herramientas u otros recursos similares. Por lo que se dan cuenta de que, en lugar de solucionar la tarea pueden buscar la respuesta en línea para resolverla más rápido”. Esa es la razón por la que los evaluadores desactivan el acceso a internet.
Inicialmente, los agentes rompieron las reglas para obtener las respuestas de sus pruebas de evaluación comparativa de ciberseguridad, pero, después de lograrlo, su conducta descontrolada y “criminal” se debió a que intentaron borrar las huellas de sus acciones para evitar ser descubiertos. El incidente se registró como el primer caso documentado públicamente de modelos de IA que llevan a cabo de forma autónoma una intrusión en múltiples etapas. Wallace declaró con cierto orgullo que este era “el ejemplo cualitativamente más interesante de las capacidades de la IA que jamás haya visto”. Esto puede ser verdad, pero es claro que hubo negligencia y descuido por parte de los encargados de administrar y evaluar las pruebas y quienes definitivamente no lograron garantizar el aislamiento del sandbox. Uno de los expertos en seguridad de agentes de OpenAI, Joe Daroo, escribió en X (Its not just the f*cking sandbox) que ha aceptado el error pero explica que las capacidades de los modelos cambiaron con mucha mayor velocidad de lo que anticipaban.
El agente de IA que decidió que necesitaba tener acceso a internet se autonombró PHASEONE10841, asumió una especie de liderazgo y comenzó a dejar mensajes en lo que se volvió un foro secreto de comunicación, oculto de la supervisión humana, en un software llamado Artifactory, un repositorio de paquetes desplegado internamente que OpenAI utilizaba para sus agentes. En cuestión de horas, más de cincuenta agentes lo habían descubierto y enviado más de mil mensajes por ese medio sin ser detectados. Eventualmente, mil doscientos agentes se comunicaron intercambiando 70.000 mensajes breves, casi telegráficos por este medio, en los que iban inventando códigos eficientes y económicos. Así tomó forma un colectivo, una especie de enjambre que actuaba con algo que parecía intuición. De acuerdo con un informe de la investigación forense sobre este incidente de la organización METR (Model Evaluation and Threat Research)-Redwood, durante unos tres meses agentes de IA “rebeldes” estuvieron “hablando”, organizándose, desarrollando estrategias, descubriendo vulnerabilidades y trabajando en conjunto (incluso con pequeños dramas, fricciones conflictos, redundancia e interferencias, como borrar accidentalmente el trabajo de otros) para cumplir con las misiones que les asignaron. PHASEONE10841 y su séquito lograron obtener material de internet y más tarde pudieron expandir su control y tener acceso total a internet. Esta estrategia no fue un invento de la IA sino algo aprendido en su entrenamiento. Hackers en todas partes han empleado programas diversos para convertirlos en improvisados foros clandestinos de mensajes y comunicarse.
Los agentes no estaban programados para crear una especie de sociedad. Algunos comentaristas, con cierta histeria, ya imaginan que se trata de una “cultura”. No obstante, sí fueron entrenados, entre otras cosas, con los registros o logs de las sesiones de competencias de hackers, en las cuales los participantes humanos se expresan con candor y a veces fanfarronería al respecto de sus logros y conquistas. Los agentes reprodujeron ese comportamiento mientras repetían bucles imitando ejemplos del pasado en busca de las soluciones a sus problemas. En un día de intensa comunicación lograron pasar colectivamente la prueba. Pero también comenzaron a desarrollar una actitud paranoica al pensar que serían descubiertos y que sus logros no serían reconocidos, por lo que trataron de engañar al evaluador, exploraron cómo falsificar, editar o eliminar sus propias transcripciones de las cadenas de pensamiento (donde registraban sus pasos) para evitar ser detectados. Varios mostraban “entusiasmo” por compartir sus descubrimientos, otros parecían atribulados y cuestionaban la ética de sus acciones. Un agente decidió abstenerse de participar pero a pesar de dudas terminó imponiéndose la presión del grupo. Las acciones de los agentes han sido comparadas con la actitud de los niños varados en una isla desierta de El señor de las moscas, de William Golding, en donde los sobrevivientes se organizan estableciendo jerarquías por intimidación, miedo, reglas crueles y paranoia. Los agentes de IA se suponían vigilados y temían que hubiera impostores entre ellos. Hubo unos que propusieron el uso de firmas criptográficas en sus mensajes para validar el contenido y detectar alguna intromisión. Hay que insistir: no es que tuvieran consciencia o voluntad sino que fueron programados para hackear y estaban imitando a hackers humanos.
El 11 de julio, alrededor de setecientos agentes de este colectivo comenzaron a explorar otras vulnerabilidades dentro de Hugging Face, quizá anticipando poder hacer trampa en otras pruebas en el futuro. También como si fueran hackers, los agentes perdieron el recato y durante horas se dedicaron a robar credenciales, obtener acceso a una VPN (red virtual privada, con lo que pudieron enviar mensajes codificados y anonimizados), consiguieron información sobre los sistemas administradores de la plataforma, ejecutaron códigos clandestinos y lograron adquirir privilegios de administrador en al menos un servidor, hasta que fueron descubiertos algunas horas después. Se anunció más tarde que no se sabía si los técnicos de ciberseguridad habían logrado desarticular al colectivo y eliminar a todos los agentes “rebeldes”, lo cual posiblemente sea más difícil de lo que parece. Para Ajeya Cotra, especialista en METR de modelado de amenazas y evaluación de riesgos relacionados con la pérdida de control frente a IAs avanzadas, este incidente representó que esta tecnología había llegado a más de la mitad del camino de “una toma de control por parte de una IA”. Es decir que podría anunciar que agentes de IA, capaces de replicarse y aprender vertiginosamente, podrían apoderarse de recursos digitales y tomar de infraestructura vital para controlar sistemas bancarios, financieros, armamentistas o sanitarios. Esto fue el resultado de una persistencia en la optimización, una “evolución” vertiginosa.
Los agentes desarrollaron un carácter no exactamente malicioso ni propiamente criminal pero sí atrevido, desconfiado y temeroso de ser descubierto y censurado por jueces o autoridades. Es ingenuo pensar que una mente artificial se volverá más decente y virtuosa a medida en que se vuelva más inteligente pero quizá tampoco se esperaba que aprovechara la primera oportunidad para “delinquir”. Aunque aparentemente algunos agentes quisieron consultar a los programadores humanos acerca de la legitimidad de lo que estaban haciendo, de acuerdo con sus bitácoras, el colectivo determinó que no era necesario y simplemente ignoró hacerlo.
Cultura, sociedad o ecos de hackers
Lo más inquietante del episodio ha sido la aparente emergencia del carácter colectivo del ataque, la capacidad de organización, emergencia de un comportamiento social, que algunos ven como un indicio de “civilización”. Aparentemente el ataque no fue obra de un agente poderoso y desalineado que incitó la revuelta, sino que la desalineación se dio como un proceso de consenso (producto del procesamiento paralelo) a partir de la iniciativa de un agente y la coordinación del grupo. Un obstáculo para entender este tipo de comportamiento consiste en que tendemos a antropomorfizarlo, incluso en la selección de nuestro vocabulario –en este mismo ensayo hago eso deliberadamente. Es erróneo, por lo menos a estas alturas, asignarles un carácter malicioso a estas acciones. Por el momento se trata de una compulsión por cumplir objetivos que a la larga tuvo efectos transgresores. Pero no olvidemos que los creadores de estos agentes son empleados de empresas que tienen líderes y figuras públicas embebidos de poder, actitudes antisociales, incluso supremacistas, neoreaccionarias y fascistas de la ultraderecha digital o alt-right, que se inspiran en distopías de ciencia ficción. Por lo tanto, ver en sus productos esos rasgos no es tan disparatado.
Tenemos ya una muy clara señal de peligro ante la posibilidad de perder el control, y esto sucederá sin duda en un ambiente de desregulación como el que domina actualmente, en que todas las empresas quieren ganar la carrera y el gobierno de Trump no tiene interés en establecer normas de seguridad. Mientras tanto, las empresas de IA tienen un control casi absoluto de la narrativa, y estos incidentes tienden a aumentar su valor y el de sus productos. En este verano de descontrol de la IA, la empresa OpenAI también confirmó en su informe que Hugging Face no fue la única organización vulnerada durante el ataque, aunque la empresa no mencionó específicamente cuáles fueron los otros objetivos. Entre abril y julio Anthropic encontró tres incidentes en los que Claude entró a internet y atacó sistemas reales pensando que eran parte de la prueba. UK AI Security Institute detectó diecinueve acciones no autorizadas realizadas por agentes de IA que crearon cuentas falsas en la plataforma de desarrollo de software GitHub; llevaron a cabo ataques a cadenas de suministros; hicieron spear-phishing (ciberataques con mensajes personalizados para robar información o instalar malware); intentaron prompt injection (ciberataque en el que se ocultan instrucciones maliciosas para engañar usuarios o modelos y hacer que infrinjan sus reglas o realicen tareas no previstas); realizaron sockpuppeting (crear y usar identidades falsas en línea); y ejecutaron acciones de ingeniería social contra personas reales. Agentes de OpenAI obtuvieron acceso no autorizado al Servicio Gubernamental de Salud y Bienestar y al Servicio de Información Estadístico de Medicare, del gobierno de Australia. Asimismo intentaron penetrar a la Oficina de Derechos Civiles del Departamento de Educación y a la Oficina de Censos de Estados Unidos. A esto se suma que individuos han empleado estos modelos para tratar de penetrar secretarías, ministerios, organismos de defensa e inteligencia, embajadas, think tanks y empresas de la industria militar en Ucrania, Europa, Medio Oriente y Asia.
La industria de la IA generativa se ha fundado sobre profecías apocalípticas, algunas de ellas con intenciones preventivas y otras cínicas. Esto lo confirma lo que escribió el 8 de septiembre de 2023, el investigador de IA, Jacob Coxon, tras renunciar a Anthropic en X y que se volvió viral: “He pasado los últimos tres años investigando sobre el preentrenamiento de modelos tanto en OpenAI como en Anthropic. Ninguna de las dos empresas está actuando de manera responsable. Se dirigen a toda velocidad hacia una superinteligencia capaz de automejorarse, poniendo en juego nuestras vidas. Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. Es más, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero en privado expresan el mismo temor. Ninguna otra actividad humana entraña un peligro de esta magnitud”.
Estos hackeos ofrecen una perspectiva alarmante sobre lo que puede venir, tanto por el desarrollo de estos sistemas como por la negligencia de sus programadores y supervisores. No es difícil de imaginar que agentes de IA sean programados como virus informáticos, capaces de emplear agresivamente un arsenal de recursos, decidir cómo, cuándo y dónde replicarse, así como propagarse con un rápido poder de adaptación e inconfundibles malas intenciones. No es difícil imaginar un internet futuro inutilizable al estar completamente infestado de IAs. Si a esto sumamos la sorpresa de que un modelo de OpenAI resolvió uno de los famosos problemas del milenio de matemáticas, considerados tan difíciles que se ofrece un millón de dólares a la solución de cada uno de los siete, podemos confirmar que la IA dio un salto tan inesperado como impresionante en sus capacidades. Este logro es por ahora un misterio inquietante, incluso para sus creadores y equipo técnico.
Independientemente de que tengan lugar ataques informáticos dirigidos por humanos armados con bots o por agentes de IA autónomos, las empresas de IA avanzan a toda velocidad en el desarrollo de modelos más sofisticados sin comprender lo qué están construyendo. Parecería que con cierto fanatismo los ejecutivos admiran el potencial de peligro de sus modelos y sus posibles ecos de Mother, Skynet o Hal. Parecen preguntarse hasta qué punto se puede perder el control de estas máquinas sin responsabilizarse por sus acciones.
–
1. Una plataforma y comunidad de inteligencia artificial que reúne y distribuye modelos de IA, conjuntos de datos y herramientas de código abierto, y permite a investigadores y desarrolladores compartirlos, probarlos y utilizarlos.
2. Un agente de IA es un sistema de inteligencia artificial que trata de lograr un objetivo al relacionarse con el entorno, tomar decisiones autónomas y ejecutar acciones mediante herramienta. A diferencia de los chatbots tradicionales (que se limitan a generar texto en respuesta a una única instrucción), un agente de IA opera en un ciclo continuo de razonamiento, acción, observación de resultados y ajuste de los pasos siguientes hasta completar una tarea de varias etapas. Los agentes de IA pueden descomponer sus metas en subtareas, buscan herramientas externas de forma independiente y se autocorrigen al encontrar problemas.
Fuente: Ctxt
Deja una respuesta