OpenAI abre su API de decisiones a todos y desafía el reinado de Jev en la IA rápida

OpenAI puso a disposición general su API de Decisiones, un modelo pensado para tomar decisiones rápidas y baratas entre un conjunto de opciones, y entró así en un mercado que la startup TypeSafe, fundada por un exinvestigador de la compañía, había inaugurado con su modelo Jev. La firma alcanzó una valuación de US$7.600 millones pocas semanas después de su lanzamiento.

El modelo de TypeSafe creó una categoría dentro del aprendizaje profundo: la de los clasificadores de alta capacidad que, ante un abanico de alternativas, eligen con rapidez y ofrecen un nivel de confianza sobre su decisión. Los desarrolladores descubrieron pronto que estos modelos podían reemplazar a los grandes modelos de lenguaje en diversos flujos de trabajo, con mayor velocidad y un costo mucho menor.

Nikunj Handa, responsable de producto de las API de OpenAI, contó que sus colegas vieron Jev y pensaron: "Guau, tenemos como un millón de casos de uso para esto". Su equipo se apuró a ofrecer una versión propia: en lugar de construir un modelo de decisiones calibrado desde cero, tomaron ChatGPT Luna y lo reconfiguraron para acelerar la inferencia y bajar el costo.

"El gran avance de la API de Decisiones fue la velocidad, que pasó de uno a tres segundos a 100, 120 o 180 milisegundos", afirmó Handa. "En el futuro quizá tengamos entrenamiento específico para mejorar nuestros modelos en ese sentido. Pero por ahora es el viejo Luna el que hace el trabajo", agregó.

El producto se anunció en el día para desarrolladores del 29 de septiembre y quedó disponible para todos los clientes el jueves. La versión pública sumó nuevas modalidades de voz e imagen, y la empresa trabajó para reducir la latencia en distintas regiones del mundo ubicando geográficamente sus recursos de inferencia. La movida se inscribe en una carrera más amplia por modelos de decisión rápidos y baratos, un terreno que también exploran otros jugadores, como muestra el avance de los clones de Jev.

En pruebas iniciales con clientes como Box, Datadog, Ramp y Speak, los ingenieros usaron la API para reemplazar los modelos de lenguaje de OpenAI con un rendimiento mayor. Andrew Hsu, director de tecnología de Speak, que desarrolla tutores de idiomas con inteligencia artificial, sostuvo que la API de Decisiones le permitió a la empresa reducir el tiempo entre acciones de 1,4 segundos a 0,13 segundos. OpenAI también la usó para mejorar la capacidad de respuesta de su asistente de voz Dots.

Todavía no está del todo claro qué define a un buen modelo de decisiones más allá de que "funcione para vos": la optimización entre inteligencia, costo, calibración y velocidad parece variar según la carga de trabajo. Diogo Almeida, director ejecutivo de TypeSafe, desconfía de los benchmarks y recomienda probar los modelos en el propio trabajo, aunque la propia TypeSafe publicó sus propios rankings la semana pasada junto con la última versión de Jev, que incorpora soporte para imágenes y sentencias condicionales inteligentes.

Los índices públicos como el AIM System One Index y el Artificial Analysis Decision Index tienden a favorecer a D1 Ultra, un modelo de decisiones que Liquid lanzó la semana pasada, y a Elephant-1, de Base Lab. La última versión de Jev sigue siendo competitiva en ambos rankings, en séptimo y tercer lugar, mientras que el modelo de decisiones de OpenAI queda octavo y decimocuarto, respectivamente. Sin embargo, por ahora las propuestas de TypeSafe son las más consultadas en OpenRouter.

El benchmark más curioso es JevMan, una prueba en la que los modelos de decisiones juegan al Pac-Man y donde el último Jev lidera la tabla. Felix Wunderlich, director de crecimiento de Opper AI, que construyó la prueba, explicó que el clásico juego "es un test interesante por su flujo incesante de decisiones rápidas y de alto riesgo. En cada cruce el modelo debe decidir hacia dónde ir en pocos cientos de milisegundos".

Donde el modelo de OpenAI podría tener ventaja es en la multimodalidad. Para la clasificación de imágenes, "Luna es extremadamente potente y viene mostrando mejores calibraciones", dijo Handa, que agregó que los clientes quieren que la API de Decisiones sea más flexible a la hora de usar imágenes como salidas. El directivo también anticipó más aumentos de velocidad: "¿Podemos llegar a unos 60 milisegundos? Entonces podrías imaginar una llamada de API para cada cuadro de un video".

A medida que estas propuestas se vuelvan más rápidas y baratas, cabe esperar que hagan honor al nombre de Jev, el economista que explicó cómo usar un recurso con más eficiencia lo vuelve más ubicuo. O, como lo ve Handa, aparecerá un conjunto creciente de casos de uso que estaban a la vista hasta que los modelos de decisiones los revelaron. El fenómeno se suma a una competencia que ya se había intensificado con el lanzamiento inicial de la API de decisiones.