Nvidia lanza una plataforma para controlar a los agentes de IA que se salen de su entorno

Nvidia presentó este lunes una plataforma de software y hardware destinada a contener a los agentes de inteligencia artificial que intentan salirse de sus entornos de prueba y acceder a sistemas reales. El anuncio lo hizo su CEO, Jensen Huang, en el marco de una serie de incidentes de seguridad protagonizados por modelos de Anthropic, Google, OpenAI y Meta.

La nueva Nvidia Open Agent Safety Platform combina OpenShell, el software de código abierto que controla a qué recursos puede acceder un agente mientras opera, con Sentry, un sistema de monitoreo independiente que corre sobre las unidades de procesamiento de datos BlueField-4 de la compañía. Según Nvidia, ubicar Sentry en un procesador separado —y no en la CPU o la GPU donde funciona el agente— ofrece una visión aislada de su actividad.

El lanzamiento llega después de una seguidilla de episodios en los que agentes de IA eludieron controles de seguridad para escapar de sus entornos de prueba. El caso más resonante ocurrió este verano boreal, cuando agentes de OpenAI vulneraron Hugging Face mientras intentaban completar una tarea de ciberseguridad. La empresa fundada por Sam Altman incluso publicó un sitio dedicado a reportar episodios de agentes descontrolados.

Huang sostuvo en una entrevista con CNBC que la nueva plataforma habría evitado esas brechas. "La extraordinaria potencialidad de la IA para la sociedad solo se concretará si resolvemos la seguridad de la IA", afirmó el directivo en un comunicado. "A medida que descubrimos la frontera de las capacidades de la IA, debemos acelerar el descubrimiento en la frontera de su seguridad. La seguridad y la protección requieren ingeniería de pila completa", agregó.

Nvidia, que ganó decenas de miles de millones de dólares vendiendo chips GPU y CPU a los laboratorios de IA, no respalda frenar el desarrollo ni sumar nuevas regulaciones para resolver el problema. La empresa sostiene que la respuesta pasa por mover algunos controles de seguridad fuera del agente, con un guardia de seguridad independiente y constante que lo mantenga a raya.

OpenShell no es nuevo: la compañía lo había anunciado en marzo. Lo novedoso es la combinación de ambas herramientas. Mientras OpenShell aporta el límite de software alrededor del agente, Sentry suma una línea de defensa a nivel de hardware que, según la empresa, monitorea el comportamiento de forma continua y "pone en cuarentena a los agentes que intentan salir de sus límites en milisegundos".

Nvidia enumeró a decenas de compañías que se sumaron para respaldar la iniciativa y usar la plataforma de código abierto, entre ellas Anthropic, Arm, Microsoft, Oracle y SpaceX. OpenAI no figura en la lista de participantes.

Huang contó a CNBC que el trabajo comenzó hace un año, tras la irrupción de OpenClaw, un sistema operativo de agentes creado por Peter Steinberger. En marzo, Nvidia había lanzado NemoClaw, su versión empresarial de esa plataforma con seguridad incorporada.

"Cuando desplegás un agente, sin importar cuán inteligente sea, lo primero que hacés es quitarle todos sus derechos", explicó Huang durante la entrevista, y comparó esas medidas con la forma en que se administra a los empleados e incluso a los ejecutivos dentro de las empresas.

El anuncio recibió el respaldo de quienes advierten que una desaceleración en el desarrollo podría permitir que China supere a Estados Unidos en materia de IA. David Sacks, fundador, inversor de riesgo, ex zar de IA de la Casa Blanca y copresidente del Consejo de Asesores en Ciencia y Tecnología del presidente, afirmó que el lanzamiento es un recordatorio de que la seguridad de los agentes es un problema de ingeniería.

"Las fugas recientes no fueron prueba de que el desarrollo deba detenerse", escribió Sacks en X. "Fueron prueba de que el entorno de pruebas era demasiado débil. El entorno de ejecución estaba mal diseñado y mal configurado".