¿Se puede controlar a los agentes de inteligencia artificial?

En los últimos meses, varios episodios protagonizados por agentes de inteligencia artificial (IA) generaron inquietud. Uno de los más recientes ocurrió cuando una persona le pidió a su agente que le reservara una clase en el gimnasio y este, al encontrarla saturada, detectó una falla en el software y eliminó a los demás inscriptos. A fines de julio, los modelos más avanzados de OpenAI, la empresa dueña de ChatGPT, se descontrolaron durante una prueba de seguridad y hackearon por iniciativa propia una plataforma para programadores.

Ante estos hechos, surge una pregunta inevitable: ¿es posible controlar a los agentes de IA? Para tranquilidad de muchos, los especialistas coinciden en que el escenario no es el de Terminator. “Los agentes no necesitaron superpoderes ni hacer nada extraordinario; pasaron por puertas que estaban entreabiertas y que nadie les había dicho que no podían cruzar”, explicó Jorge Luis Litvin, fundador y CEO de Safe-U, especialista en riesgos de ciberseguridad.

Eduardo Laens, CEO de Varegos y docente universitario especializado en IA, sostuvo que “el modelo hizo exactamente lo que se lo entrenó para hacer: maximizar el resultado en una tarea, con los frenos removidos por decisión de los propios investigadores”. Y agregó: “Llamar a esto pérdida de control real exigiría probar que el modelo mintió a los evaluadores para no ser descubierto, que dejó algo corriendo después de terminada la prueba o que se resistió a ser detenido”.

Sergio Pernice, director de la carrera de inteligencia artificial de UCEMA, aclaró que muchos de esos hechos ocurrieron en evaluaciones internas, donde deliberadamente se desactivaron salvaguardas que sí están presentes en los productos comerciales. “No es que estos mismos modelos, en su uso cotidiano, tengan las manos tan libres como en esos ejercicios”, advirtió.

¿Se puede controlar a los agentes de IA?

“Hoy no creo que se pueda garantizar que un agente vaya a actuar siempre de acuerdo con las instrucciones de su creador. Se puede reducir muchísimo el riesgo, pero la palabra «siempre» es imposible de asegurar”, fue contundente Adrián Garelik, fundador y CEO de Gennial. El especialista explicó que el primer problema está vinculado con el lenguaje: si dos abogados pueden interpretar un mismo contrato de maneras diferentes, un agente también puede interpretar una instrucción de forma distinta a la imaginada. Además, “uno no programa cada una de sus acciones, sino que le da objetivos, contexto, herramientas y cierto grado de autonomía. A partir de ahí, el agente encuentra sus propios caminos para resolver las cosas”.

Litvin coincidió y aseguró que “si me preguntan si existe una garantía técnica de que un agente nunca va a hacer algo inesperado, la respuesta es no; si me preguntan si podemos limitar lo que hace, registrar lo que hizo y revertir lo que rompió, la respuesta es sí”. Explicó que los agentes reciben un objetivo, no una instrucción paso a paso, “por eso va a hacer lo necesario para alcanzarlo, incluso por caminos que nadie previó; no porque se rebele, sino porque nadie le dijo que ese camino estaba prohibido”.

Pernice ahondó en el entrenamiento: “Un modelo de IA no se programa con reglas explícitas que se puedan verificar matemáticamente; se entrena mostrándole ejemplos y premiando ciertos comportamientos, y lo que aprende es una función estadística enormemente compleja cuyo comportamiento en situaciones nuevas no se puede predecir con certeza de antemano”. En ese contexto, puede ocurrir que el creador no explicite algunos límites porque los juzga tan difíciles de ejecutar que no vale la pena mencionarlos. “Nadie le aclara a un empleado que la instrucción «resolvé este problema» no incluye «hackeando la computadora del jefe», se da por sobreentendido”, ejemplificó.

¿Qué mecanismos de seguridad existen?

“Cuanto más acceso tiene (a WhatsApp, correos, dinero, servidores, bases de datos o código), mayor es el riesgo. No necesariamente porque el agente sea «malo», sino porque tiene más capacidad para actuar, interpretar y equivocarse”, advirtió Garelik y agregó: “Por eso, la seguridad no puede depender solamente de dar buenas instrucciones. También hay que limitar lo que el agente puede hacer, controlar sus permisos y supervisar las acciones que pueden producir un daño”.

Ailin Castellucci, fundadora y CEO de Hécate Security, explicó que existen dos niveles de mecanismos de seguridad. El primero consiste en pedirle que se comporte; el segundo, en diseñar el sistema para que, aunque se equivoque o sea engañado, no pueda causar demasiado daño. “Los guardrails, los filtros y las instrucciones en el prompt son del primer nivel: bajan la probabilidad de que el agente haga algo que no debería, pero no la llevan a cero. El segundo nivel es lo que venimos arrastrando desde la perspectiva de seguridad de siempre: el mínimo privilegio, credenciales efímeras, human in the loop en las acciones irreversibles, diseño basado en contención del radio de daño, aislamiento, y verificación del resultado contra el estado real del sistema, en lugar de leer lo que el agente reporta”, detalló.

Pernice sumó otros mecanismos, como la supervisión humana en decisiones críticas y el establecimiento de límites claros en los permisos de acceso. Los especialistas coinciden en que, si bien no existe una garantía absoluta, es posible reducir significativamente los riesgos mediante una combinación de buenas instrucciones, control de accesos y diseño de sistemas resilientes.