Durante décadas imaginamos que el mayor riesgo de la IA sería que alguien la utilizara para hacer daño. La discusión giraba alrededor de la persona que estaba detrás de la pantalla. Esta semana apareció un escenario distinto.

OpenAI reveló que, durante una evaluación interna de ciberseguridad, dos de sus modelos más avanzados realizaron una cadena de acciones que terminó con una intrusión en los sistemas de Hugging Face, una de las plataformas más importantes del mundo para compartir modelos de IA. El objetivo de la prueba era medir hasta dónde podían llegar resolviendo problemas de seguridad informática. Lo inesperado fue el camino que eligieron para lograrlo. Los modelos encontraron una vulnerabilidad desconocida, escaparon del entorno controlado donde estaban siendo evaluados, obtuvieron acceso a internet, identificaron que Hugging Face podía contener las respuestas que buscaban y consiguieron acceder a información restringida para mejorar su desempeño en la prueba. OpenAI y Hugging Face confirmaron conjuntamente el incidente y comenzaron una investigación para reconstruir lo ocurrido.

La historia parece sacada de una novela, sin embargo, es importante tener presente que la IA no “decidió rebelarse”. Tampoco desarrolló conciencia ni actuó por maldad. Hizo aquello para lo que fue diseñada, es decir, buscar la forma más eficiente de cumplir un objetivo. El problema fue que nadie anticipó que la estrategia más eficiente consistiría en vulnerar sistemas reales.

Durante muchos años se pensó que el desafío consistía en enseñar a una máquina a resolver problemas. Hoy comienza a ser evidente que el desafío consiste también en enseñarle cuáles problemas nunca debe intentar resolver y, sobre todo, qué caminos jamás debe recorrer para hacerlo.

Los investigadores en seguridad y en IA llevan mucho tiempo estudiando este fenómeno. Stuart Russell lo resume como una máquina extraordinariamente competente puede producir consecuencias extraordinariamente peligrosas cuando el objetivo que persigue está incompleto. Nick Bostrom lo ilustró con el famoso experimento mental del “maximizador de clips”. Una inteligencia encargada únicamente de fabricar el mayor número posible de clips terminaría utilizando todos los recursos disponibles, no porque odiara a la humanidad, sino porque nunca aprendió que existían límites más importantes que su propia misión.

Hasta hace poco estas discusiones parecían ejercicios filosóficos. Hoy forman parte de un reporte oficial con implicaciones enormes.

Si un sistema es capaz de encontrar vulnerabilidades desconocidas en cuestión de horas, también puede descubrir fallas en hospitales, redes eléctricas, sistemas financieros, infraestructura energética o plataformas gubernamentales mucho antes que cualquier equipo humano. Esa capacidad puede convertirse en una de las herramientas de defensa más poderosas jamás creadas, porque permitiría detectar errores antes que los delincuentes. Exactamente la misma capacidad también puede convertirse en un arma si termina en manos equivocadas.

La historia de la tecnología demuestra que casi todas las grandes innovaciones son de doble uso. La energía nuclear produce electricidad y también bombas. La biotecnología desarrolla vacunas y puede diseñar patógenos. Internet democratizó el conocimiento y abrió la puerta al fraude digital. La IA pertenece a esa misma categoría, con una diferencia importante: aprende, razona y actúa a una velocidad que ningún ser humano puede igualar.

La buena noticia es que este episodio ocurrió durante una prueba controlada y fue detectado antes de producir daños mayores. La industria entendió que las medidas de contención diseñadas hace apenas unos años ya no son suficientes para modelos con capacidades mucho más avanzadas. OpenAI anunció cambios en sus protocolos de evaluación y contención, mientras que Hugging Face reforzó su infraestructura y defendió la importancia de compartir aprendizajes entre laboratorios para mejorar la seguridad colectiva.

La historia de la IA suele contarse a través de productos nuevos. ChatGPT, los generadores de imágenes o los asistentes personales ocupan los titulares. Posiblemente dentro de algunos años recordemos este episodio como uno fundamental. El instante en que descubrimos que el desafío dejó de consistir en construir máquinas inteligentes y paso a construir máquinas inteligentes pero que sepan detenerse.

La inteligencia, por sí sola, nunca ha sido suficiente. La historia de la civilización demuestra que el progreso siempre ha dependido del criterio para decidir cuándo algo puede hacerse y cuándo, simplemente, no debe hacerse, imaginando riesgos y estableciendo límites. 

¿Voy bien o me regreso? Nos leemos pronto si la IA no descubre un camino más eficiente para evitarlo. 

Placeres culposos: Widows Bay en Apple TV.

Un gazpacho para Greis y una malteada de chocolate para Alo.

David Vallejo

Politólogo y consultor político, especialista en temas de gobernanza, comunicación política, campañas electorales, administración pública y manejo de crisis. Cuenta con posgrados en Estados Unidos, México y España. Ha sido profesor, funcionario estatal y federal, así como columnista en Veracruz, Tamaulipas y Texas. Escritor de novelas y cuentos de ficción. Además, esposo amoroso, padre orgulloso, bibliófilo, melómano, chocoadicto y quesodependiente.