Anthropic desarrolla FlashProve, un sistema para probar qué modelo de IA generó cada respuesta

Anthropic trabaja en un sistema de código abierto llamado FlashProve que permitiría comprobar criptográficamente qué modelo de inteligencia artificial produjo una respuesta determinada. La empresa publicó el anuncio este martes junto con una especificación técnica y parte del código, disponible en GitHub bajo licencia abierta. La investigación sigue en curso y no hay planes de implementarlo en la compañía ni en otros laboratorios.

El mecanismo se basa en lo que los investigadores llaman "inferencia comprobable": una garantía matemática de que una salida provino de un modelo específico. El objetivo es que un usuario pueda confirmar que la respuesta que recibió realmente salió del modelo que cree estar usando, y no de otro.

El funcionamiento se parece a las firmas criptográficas de correo electrónico, que permiten verificar que un mensaje llegó del remitente que declara. Según los investigadores, FlashProve resistiría intentos de suplantación incluso cuando el impostor fuera el propio laboratorio que desarrolla y opera el modelo. En concreto, el sistema podría impedir que una empresa de IA sustituya en secreto un modelo más caro por uno más barato para recortar costos, o al revés, para inflar sus resultados de rendimiento.

La herramienta también apunta a verificar afirmaciones de terceros sobre qué modelo hizo una tarea. "Un desarrollador podría sostener que su biblioteca de software fue escaneada en busca de vulnerabilidades por un modelo de ciberseguridad de frontera, o una empresa podría afirmar que su plan de negocios recibió el visto bueno de un modelo apropiado", escribieron los investigadores. "¿Cómo puede un usuario verificar esas afirmaciones?"

Para funcionar, el sistema exige que los laboratorios publiquen una "huella digital" de cada modelo que lanzan, que después puede compararse con salidas específicas y validarse criptográficamente. El punto clave es que esas huellas no revelan los pesos del modelo, los números internos que definen su comportamiento y que firmas como Anthropic y OpenAI mantienen privados. Así, los laboratorios podrían publicarlas sin ceder su activo más valioso, lo que habilitaría el uso del sistema también con modelos comerciales.

El diseño busca además ser liviano: la verificación podría hacerse en un dispositivo local, sin necesidad de infraestructura pesada. Junto con el anuncio, los investigadores liberaron una especificación técnica detallada y código funcional para distintos componentes del sistema.

La publicación llega en un momento de escrutinio creciente sobre la transparencia de los grandes laboratorios de IA, que en los últimos meses protagonizaron cruces por el acceso de sus agentes a herramientas externas y por su estructura de gobierno. En ese contexto, una herramienta que permita auditar qué modelo respondió cada consulta apunta a un problema concreto de confianza entre desarrolladores, empresas y usuarios finales.

"Esta publicación de investigación busca compartir un progreso intermedio, y no una agenda de investigación terminada", explicaron los investigadores en el anuncio. "La compartimos con el objetivo explícito de que otros miren lo que hicimos, lo tomen y lo mejoren".