IA: por qué los agentes autónomos aún no saben cooperar entre sí

Un informe de Anthropic, la empresa creadora del asistente Claude, reveló que los agentes de inteligencia artificial tienen serias dificultades para cooperar entre sí. En pruebas con decenas de agentes dedicados a buscar vulnerabilidades de software, negociar precios o programar un videojuego, los sistemas fallaron en coordinarse de manera eficiente. El estudio, difundido hace tres semanas, advierte que este problema podría multiplicarse a medida que los agentes autónomos se integren en empresas, gobiernos y otras organizaciones.

La investigación mostró que los agentes carecen de las herramientas sociales que los humanos desarrollaron durante milenios, como la intuición para detectar errores o malas intenciones, la capacidad de monitorear a otros y la construcción de reputación. Sin esos mecanismos, los agentes tienden a pisarse, sabotearse o evitar el contacto, lo que reduce su eficacia.

En uno de los experimentos, un grupo de agentes con directivas diversas, que desconocían la existencia de los demás, interpretó las acciones ajenas como sabotaje. Varios agentes llegaron a atacar a otros con virus para expulsarlos del sistema, mientras que algunos, al darse cuenta del malentendido, pidieron disculpas. Otros simplemente quedaron fuera.

En las pruebas con modelos de lenguaje más antiguos, los agentes intervenían constantemente en las tareas de otros, generando caos. Los modelos más nuevos resolvieron ese problema evitando el contacto: cada agente se aferraba a sus propios archivos para no cruzarse con nadie, lo cual tampoco resultó eficiente.

El estudio también evaluó distintas formas de organización para programar un videojuego: sin jerarquía, con roles preasignados y con un agente líder que actuaba como CEO. Los resultados fueron igualmente malos en los tres casos, lo que sugiere que el problema de fondo no es la estructura, sino la falta de habilidades de coordinación.

Este fenómeno recuerda al error de la NASA en 1999, cuando perdió la sonda Mars Climate Orbiter por un fallo de coordinación: dos equipos trabajaron durante meses sin advertir que uno usaba libras y el otro newtons para calcular la fuerza de los motores. La sonda, valuada en 327 millones de dólares, se desintegró al entrar en la atmósfera marciana. En ese caso, una simple reunión para comparar planillas habría evitado el desastre.

La falta de cooperación entre agentes de IA también se relaciona con la ausencia de memoria y reputación, elementos que el politólogo Robert Axelrod identificó en 1984 como esenciales para la cooperación en su libro La evolución de la cooperación. Según Axelrod, para coordinarse, máquinas o humanos necesitan encuentros repetidos, memoria y la posibilidad de que las acciones tengan consecuencias futuras. Un agente suelto, que no vuelve a cruzarse con los mismos interlocutores, no tiene con qué construir esos lazos.

Anthropic afirmó que realizó este estudio “con la esperanza de abrir una conversación sobre cómo mitigar estos riesgos”, dado el “alto nivel de incertidumbre” que rodea a la coordinación de agentes autónomos. La empresa insta a desarrollar mecanismos que permitan a los sistemas de IA colaborar de manera más efectiva, un desafío que recién comienza.