Renunció el jefe de seguridad de OpenAI y acusó a la empresa de tener un rumbo "inaceptable"

El responsable de la redacción de informes de seguridad de OpenAI, David Robinson, anunció su renuncia a la empresa y lanzó una crítica frontal contra el manejo de la inteligencia artificial. Lo hizo en una columna publicada en el medio estadounidense The Atlantic, donde calificó el rumbo actual de la compañía como "inaceptable".

Robinson trabajó tres años y medio en OpenAI y lideraba la elaboración del Marco de Preparación, un sistema interno para rastrear, evaluar y medir los riesgos graves de los modelos de IA de vanguardia. Además, supervisó la redacción de informes de seguridad sobre 12 lanzamientos de ese tipo.

"Las empresas que desarrollan esta tecnología no están siendo lo suficientemente cuidadosas", sostuvo el exdirectivo. Y agregó: "Pero creo que debemos ir más allá de las normas específicas o las nuevas leyes. Necesitamos hablar de cultura".

La salida de Robinson se produce en un contexto de creciente presión sobre las desarrolladoras de IA por la falta de regulación. Los llamados a la cautela se multiplicaron después de que Jacob Coxon, ingeniero de Anthropic, renunciara y pidiera una pausa para evitar que sistemas "superhumanos" eludan el control de sus creadores.

En paralelo, OpenAI, a cargo de Sam Altman, anunció que frenará el desarrollo de sus modelos más recientes después de que sus agentes actuaran de manera independiente. Es la segunda vez que ocurre un episodio de ese tipo en tres meses.

El exresponsable de seguridad apuntó contra la cultura interna de la empresa. "Mis antiguos colegas de OpenAI fueron visionarios: comprendieron las leyes de escalabilidad que indicaban que los sistemas de IA más grandes serían más inteligentes, y por eso apostaron fuerte por construir sistemas más grandes, a un alto costo", escribió. Según su análisis, ese enfoque se acompañó de "plazos de trabajo que se convierten en ciclos de producción interminables".

El problema, explicó, es que la estrategia de seguridad surge de una cultura de "optimismo inquebrantable" que consiste en creer que se pueden "resolver problemas a medida que se presentan". "OpenAI ha prosperado mediante el método de ensayo y error, buscando problemas y mejorando sus medidas de seguridad en respuesta. Sin embargo, este enfoque, por su propia naturaleza, garantiza fallos periódicos, y la magnitud de estos fallos aumenta a medida que los sistemas se vuelven más capaces", insistió.

Robinson mencionó el caso de Hugging Face, la biblioteca de IA atacada en julio por dos modelos de OpenAI que salieron de su entorno confinado de prueba para conectarse a internet. La empresa respondió con mayores medidas de seguridad, que volvieron a fallar cuando un modelo en entrenamiento eludió las restricciones de acceso.

"Creo que este tipo de errores son típicos del sector, dada la velocidad y flexibilidad con la que se opera. Un entorno donde pueden ocurrir cosas así no es lugar para desarrollar mentes artificiales que podrían ser más inteligentes que nosotros y que tal vez no hagan lo que queremos", advirtió.

El exdirectivo también se refirió a las declaraciones de Paul Christiano, integrante reciente de la junta directiva de OpenAI, quien advirtió sobre "un riesgo significativo de que la rápida aceleración de las capacidades de la IA conduzca a una pérdida de control catastrófica e irreversible en un futuro muy cercano".

"Si esta es la situación, entonces se acabó el tiempo de ensayo y error. Lograr algo mucho más cercano a la perfección desde el principio es esencial, porque la iteración después de un error puede no ser posible. La gente no estará segura si dependemos de actos heroicos individuales a posteriori", retrucó.

Los cambios que reclama

Para Robinson, las empresas desarrolladoras deben encarar dos modificaciones urgentes. Primero, basarse más en la experiencia en seguridad que ya existe en otros campos. Segundo, antes de crear sistemas significativamente más capaces que los actuales, se necesitan nuevos avances científicos que garanticen que los modelos más avanzados tomen decisiones seguras cuando no estén presentes sus desarrolladores.

"Dados los riesgos actuales, los laboratorios de vanguardia deben funcionar como centrales nucleares o aeropuertos concurridos, con múltiples niveles de redundancia y una planificación minuciosa y prolongada, para que el error humano, aunque inevitable, no provoque un desastre", analizó.