Nuestros miedos suelen estar equivocados. La superinteligencia nos obliga a mirar menos al sentido humano de los modelos y más a la arquitectura a partir de la cual toma las decisiones
Durante años, cuando alguien mencionaba inteligencia artificial fuera de control, me aparecía de manera recurrente esa imagen de un robot metálico, ojos rojos, mandíbula cuadrada y una caminata bastante incómoda para pasar desapercibido. SkyNet quedó atrapado en esa postal. Lo curioso es que, si uno lo piensa bien, el robot era casi lo menos importante. El Terminator era la parte visible, el mensajero de la catástrofe. El verdadero asunto estaba atrás, esa red con capacidad de decisión, conectada a infraestructura crítica y con permiso para actuar más rápido de lo que los humanos podían corregir.
Para quienes estamos en el mercado de la IT es donde la referencia se vuelve interesante, pues SkyNet no debería leerse como una advertencia sobre máquinas con forma humana, sino como una historia sobre sistemas, o mejor dicho, sobre sistemas que reciben objetivos, acumulan contexto, ejecutan acciones y empiezan a operar con una lógica que ya no pasa por una revisión humana suficiente. El problema no es que la IA “se parezca” a nosotros, sino que pueda hacer cosas sin nosotros.
Esta discusión ya no suena tan lejana en nuestras áreas de desarrollo. Los modelos de lenguaje no son solo herramientas para redactar correos o resumir documentos, sino agentes capaces de consultar bases de datos, abrir tickets, revisar inventarios, validar identidades, interpretar imágenes, cruzar información del ERP, activar flujos de compra, enviar notificaciones o sugerir decisiones operativas. No son Terminators caminando por el pasillo, me queda claro, pero sí son piezas de software con manos digitales. Y esas manos digitales cambian nuestra idea de la tecnología.
La inteligencia, por sí sola, no garantiza buen juicio
Cuando un sistema solo recomienda, el riesgo está en creerle demasiado, pues cuando un sistema ejecuta, el riesgo está en haberle dado demasiados permisos, demasiada autonomía o una meta demasiado estrecha. Una IA diseñada para reducir costos puede encontrar caminos brillantes para recortar gastos, aunque esos caminos dañen servicio, calidad o reputación; de la misma manera, un agente diseñado para acelerar reembolsos puede volverse eficiente, pero también vulnerable al abuso y un sistema de seguridad puede detectar patrones, pero confundir correlaciones con amenazas. Es decir, la inteligencia, por sí sola, no garantiza buen juicio.
Por eso conviene desmontar la imagen humanizada de SkyNet. No necesitamos una IA con “maldad”, ego o ambición cinematográfica para tener un problema serio. Basta con una arquitectura mal gobernada. Basta con conectar agentes a procesos sensibles sin definir límites claros. Basta con optimizar una variable equivocada a escala empresarial.
La superinteligencia, en su versión menos espectacular y más probable, no se parecería a un villano con imagen demoniaca, es más bien parecida a una cadena de decisiones automáticas que nadie entiende del todo hasta que ya produjo consecuencias.
¿Estamos construyendo asistentes o estamos construyendo sistemas de acción? La diferencia parece pequeña, pero no lo es, pues un asistente espera instrucciones, así como un agente interpreta contexto y avanza, un sistema multiagente puede coordinar tareas entre áreas y una arquitectura suficientemente conectada puede convertir una señal mínima en una acción operativa completa.
Entonces, la respuesta no es frenar la innovación, eso sería absurdo. Los agentes pueden quitar fricción, acelerar procesos, reducir errores manuales y liberar a los equipos de tareas repetitivas. El punto es otro: si vamos a poner más inteligencia en la operación, también tenemos que poner más gobierno en la arquitectura. Permisos, trazabilidad, auditoría, límites de acción, monitoreo continuo y humanos dentro del circuito cuando el costo del error sea alto.
SkyNet funciona todavía porque exagera una preocupación real. Pero quizá su mayor enseñanza no está en imaginar robots dominando el mundo, sino en recordar que toda automatización poderosa requiere que nos cuestionemos quién controla al sistema cuando el sistema empieza a controlar el proceso.
Así que, la próxima vez que alguien use SkyNet como chiste en una reunión de tecnología, vale la pena seguirle el juego solo un momento. Después habría que cambiar el enfoque, y más allá de escondernos de un humanoide endemoniado, pensar que ya le hemos permitido decidir a la IA, eso tal vez, de verdad, no nos deje dormir.