Se va de OpenAI y monta justo lo contrario: un modelo que no sabe escribir
La historia tiene la forma que le gusta al sector: alguien trabaja dentro de la empresa que define una categoría, se va, y monta algo que va en dirección contraria.
Diogo Almeida estuvo en OpenAI y figura entre los autores de InstructGPT, el trabajo del que sale buena parte de lo que hoy entendemos por «asistente que sigue instrucciones». Ahora tiene su propia empresa, TypeSafe AI, y su producto no escribe ni una palabra.
Qué ha montado
Su modelo, Jev, recibe una pregunta con un conjunto de respuestas posibles y devuelve cuál, con qué probabilidad y con cuánta confianza. Nada de párrafos. Está pensado para lo que pasa dentro de un programa: clasificar, decidir, seguir.
La apuesta de fondo es que una parte enorme del gasto en inteligencia artificial se va hoy en hacer que un modelo redacte respuestas que ningún humano va a leer, porque lo único que hace falta es el dato que hay dentro de esa frase.
Por qué es una apuesta de verdad
Porque va contra la corriente del sector, que lleva tres años compitiendo por modelos que hagan más cosas. Vender uno que hace menos, y que presume de hacer menos, obliga a que el cliente tenga muy claro qué problema tiene. Eso estrecha el mercado y a la vez lo hace más fácil de explicar: o tienes miles de decisiones al día que hoy te cuestan caras, o esto no te sirve.
Los números que publican son de los que llaman la atención en una portada: 42 dólares por cada mil millones de tokens de entrada, y entre 238 y 444 veces más barato según con qué se compare. También son números suyos, medidos en sus propias pruebas, sin nadie de fuera que los haya reproducido.
Lo que hay que ver
Una empresa así se juega el negocio en que alguien independiente confirme las cifras y en convencer a equipos técnicos de que metan una pieza más en su arquitectura. Lo primero llegará o no llegará. Lo segundo es el trabajo aburrido de vender a ingenieros, que es más lento que lanzar un modelo.
Si sale bien, la lección para cualquiera que esté montando algo encima de un modelo de lenguaje es aprovechable desde hoy y no cuesta dinero: mirar cuánto de lo que se pide es texto de verdad y cuánto es una decisión que viene envuelta en texto.
De dónde salen los datos
Las cifras de esta pieza están tomadas de la web de la propia TypeSafe AI: los 42 dólares por cada mil millones de tokens de entrada, las 238 veces frente a un modelo concreto de la competencia y los 444,6 y 193,6 de su caso de uso, con 0,114 segundos de respuesta frente a 8,566.
Conviene leerlas sabiendo qué son: números publicados por quien vende el producto, medidos en las tareas que ha elegido. No hay evaluaciones independientes que se puedan reproducir. Mientras no las haya, esto es una propuesta interesante con las cuentas de la casa, y así se cuenta aquí.