Bienvenidos a IA Abierta, un programa en el que os queremos traer las últimas novedades sobre inteligencia artificial y licencias abiertas.
¿Por qué?
Porque creemos que la IA del futuro tiene que ser de fuentes abiertas y cuanto más abiertas mejor.
Creemos que tiene todo el sentido del mundo, que las fuentes de entrenamiento sean abiertas, que las pruebas y los benchmarks sean en abierto y que realmente vayamos a un mundo en el que cada vez haya menos cajas negras.
Y la noticia de hoy precisamente tiene que ver con eso.
Una desarrolladora llamada Justin Tunney acaba de anunciar una contribución a un proyecto de Mozilla que se llama Jammafile, en el que se mejoran los tiempos y los rendimientos de funcionamiento de modelos de inferencia hasta un 4 o 5 por ciento.
Es decir, estamos hablando de que se van a poder ejecutar modelos con precisión completa, es decir, FP16 o Q8 cuantizados con mucha mayor velocidad.
Esto nos va a permitir, por ejemplo, ejecutar modelos en Raspberry Pi con una mejora considerable.
Cuando hablamos de mejoras y vemos, por ejemplo, las tablas de rendimiento, podemos ver que en una Raspberry Pi 5, pues estamos hablando que con la versión anterior, que es la 0.6.2, se consiguen 20 tokens por segundo y que con la versión 0.7 se consiguen 45.
O incluso en modelos con precisión completa estaríamos hablando de que tenemos en la versión 0.6.2, que es la antigua, 8 tokens por segundo a la hora de leer el PROM y 62 con esta nueva versión.
Con esto decir que espero que todas estas mejoras y cambios puedan llegar también a Jamma CFP, que es el software que utilizan otros programas como OLAMA, como LMStudio para generar la inferencia y que de esta forma se pueda cada vez generar con menos recursos más resultados.
Y hasta aquí esta nota de hoy, espero que os resulte interesante y como siempre pues lo podéis seguir, lo podéis ver en iaabierta.cc.
¡Nos vemos!
