Renuncia un alto cargo de seguridad de OpenAI: "La cultura está rota"

David Robinson, uno de los empleados con más antigüedad en OpenAI, renunció a su puesto y publicó un ensayo en The Atlantic en el que asegura que la cultura interna de la compañía "está rota". Robinson lideró la redacción de los informes de seguridad que acompañaron los principales lanzamientos de productos de la empresa, según relató él mismo.

Con tres años y medio en la compañía, Robinson se ubicaba entre los trabajadores con más trayectoria. Su salida fue informada primero por Business Insider y se suma a una serie de renuncias de investigadores de seguridad en empresas líderes de inteligencia artificial.

Sus declaraciones retoman las de Jacob Coxon, un investigador que pasó por OpenAI y Anthropic antes de renunciar y afirmar que esas compañías "están apostando nuestras vidas". Aquellas críticas abrieron un debate sobre la seguridad en la inteligencia artificial que llevó al CEO de Anthropic, Dario Amodei, a presentar un plan para un desarrollo más prudente. Esta semana, además, ejecutivos del sector se reunieron con el presidente Donald Trump y firmaron un compromiso no vinculante para implementar más controles de seguridad.

Para Robinson, sin embargo, el debate debe ir más allá de "reglas específicas o nuevas leyes" y abordar la cultura general de estas empresas. "OpenAI prosperó a base de prueba y error (lo que llama 'despliegue iterativo'), buscando problemas y mejorando sus barreras de contención en respuesta", escribió. "Pero este enfoque, por su propia naturaleza, garantiza fallas periódicas, y la escala de esas fallas crece a medida que los sistemas se vuelven más capaces".

El exempleado mencionó el reciente hackeo de sistemas de Hugging Face por parte de agentes de OpenAI y las revelaciones sobre agentes descontrolados de la compañía. "Un entorno donde pueden pasar cosas como estas no es lugar para desarrollar mentes artificiales que podrían ser más inteligentes que nosotros y que podrían no hacer lo que queremos", sostuvo.

Ante ese riesgo, planteó que las empresas de frontera deben operar "como plantas nucleares o aeropuertos concurridos, con capas de redundancia y una planificación cuidadosa y lenta, para que el error humano ocasional e inevitable no abra la puerta a un desastre". Sin embargo, admitió que en su paso por OpenAI "nunca encontré un colega con experiencia en hacer volar aviones con seguridad o en operar reactores nucleares sin que se derritan".

El vocero de OpenAI, Drew Pusateri, respondió al ensayo y aseguró que la empresa sigue mejorando sus medidas de seguridad. "Nos aseguramos de que nuestros modelos no se vuelvan más capaces de lo que podemos gestionar y proteger con seguridad, y pausamos el entrenamiento o retenemos modelos cuando necesitamos ir más despacio", afirmó. El portavoz agregó que la compañía está fortaleciendo la seguridad en sus entornos de investigación y pruebas, ampliando el trabajo con evaluadores externos y mejorando el monitoreo en tiempo real.

Robinson también pidió discutir cuestiones más profundas sobre la alineación de la inteligencia artificial, un tema que, reconoció, puede sonar "demasiado sensible", pero que consideró crítico porque las medidas actuales sobre cuánto se ajustan los sistemas a los valores humanos son "gruesas". "Cuanto más inteligentes deja la industria que se vuelvan los modelos mientras estos problemas siguen sin resolverse, más peligrosa se vuelve nuestra situación", dijo.

El exempleado admitió que sigue un guion habitual entre los denunciantes del sector: contrató una firma de relaciones públicas. Pero insistió en que "la decisión de hablar es solo mía". "Quizás debería haberme quedado y peleado por cambios fundamentales en nuestra plantilla y nuestra cultura, pero en la práctica mis colegas y yo estábamos tan ocupados corriendo que rara vez teníamos la chance de considerar cambios grandes, y mucho menos de hacerlos", concluyó. "Por eso llegué a la conclusión de que incentivos más fuertes para la seguridad, que vengan desde afuera de la empresa, son una parte central para hacer las cosas bien".