PrismML lanza modelo de lenguaje compacto que podría revolucionar el uso de IA

El laboratorio de inteligencia artificial PrismML ha captado la atención del sector tecnológico no por el volumen de su financiación, que asciende a 22,25 millones de dólares en una ronda inicial, sino por la excelencia técnica de su equipo y la innovación en el desarrollo de sus tecnologías. La organización sostiene la tesis de que los modelos de lenguaje de alto rendimiento no requieren necesariamente de dimensiones masivas, enfocando sus esfuerzos en la creación de modelos de razonamiento compactos capaces de ejecutarse en ordenadores personales y teléfonos inteligentes.

A pesar de las especulaciones sobre posibles conversaciones con Apple, el consejero delegado de la firma, Babak Hassibi, no ha realizado declaraciones al respecto. El pasado jueves, PrismML presentó Bonsai 2 27B, su más reciente modelo en una serie que comprime el Qwen3.8 27B. Este último es un modelo de código abierto desarrollado por Alibaba que, tras el proceso de compresión de PrismML, se reduce a 5,9 GB. Dicha optimización permite que el modelo funcione en ordenadores y, potencialmente, en dispositivos móviles de gama alta, lo que supone una reducción de memoria de entre 9 y 10 veces respecto a la versión original.

La empresa fue fundada por un grupo de investigadores del Instituto de Tecnología de California y está liderada por Hassibi, quien es profesor en Caltech y especialista en tecnologías de compresión. El equipo cuenta además con el asesoramiento de Ion Stoica, cofundador de Databricks y director del Sky Computing Lab de Berkeley. PrismML cuenta con el respaldo de inversores de relevancia como Khosla Ventures, Cerberus Capital y Caltech.

Aunque existen otras compañías que trabajan en la compresión de modelos de lenguaje de gran tamaño, como Multiverse Computing —dirigida por un profesor del Centro Internacional de Física de Donostia—, Hassibi sostiene que la tecnología de PrismML es única. El argumento reside en que sus modelos han logrado mantener un rendimiento casi idéntico al de las versiones originales. En este sentido, Bonsai 2 alcanza el 98% de las puntuaciones de referencia de Qwen, una mejora respecto al primer modelo Bonsai, que alcanzó un 95% en marzo. Según los datos de la compañía, este primer modelo ha acumulado más de 11 millones de descargas, mientras que los modelos de menor tamaño de PrismML han registrado 2,6 millones de descargas.

Hassibi reconoce que alcanzar una paridad del 100% en las puntuaciones de referencia sigue siendo una incógnita, ya que la compresión siempre genera algún impacto. No obstante, defiende que una degradación del 2% no afecta significativamente al rendimiento en escenarios reales, dado que los modelos no son totalmente precisos en su estado sin comprimir y las puntuaciones de referencia no siempre reflejan con fidelidad las tareas prácticas.

La técnica empleada por PrismML para lograr esta reducción consiste en la disminución de los «pesos» que conforman el modelo, los cuales representan la información aprendida y almacenada durante el entrenamiento. Mientras que normalmente cada peso requiere 16 bits, el método de la empresa, denominado pesos ternarios, simplifica estos valores a tres opciones: +1, -1 o 0. Esta simplificación de los valores almacenados permite que el modelo ocupe un espacio significativamente menor.

El próximo objetivo de la startup es aplicar esta técnica de compresión en modelos de dimensiones aún mayores. Hassibi anticipa que los próximos lanzamientos, previstos para los próximos meses, se situarán en el rango de varios cientos de miles de millones de parámetros. Según explica, a medida que aumenta el tamaño del modelo, se dispone de más espacio para comprimir sin que se pierda capacidad intelectual, lo que facilita alcanzar un rendimiento del 100% en modelos de gran escala.

Ion Stoica ha manifestado su entusiasmo por esta tecnología, destacando que permite que modelos avanzados funcionen directamente en los dispositivos de los usuarios. Esta capacidad garantiza que los usuarios tengan acceso a inteligencia avanzada sin costes adicionales, ya que el software funcionaría en los equipos que ya poseen, garantizando además la privacidad al no requerir el envío de datos a la nube.