Stability AI lanza StableLM, un nuevo paradigma de lenguaje de código abierto

La semana pasada, Stability AI anunció el lanzamiento de Stabile Diffusion XL (SDXL), su última incorporación a la suite Stable Diffusion de modelos de texto a imagen, en versión beta. También lanzó una versión Alpha de StableLM, una colección de modelos de lenguaje de código abierto, disponible en 3 y 7 mil millones de parámetros en github, con licencia CC BY-SA-4.0. Por lo tanto, los desarrolladores son libres de examinar, usar y adaptar los modelos base de StableLM con fines comerciales o de investigación, sujeto a la atribución de crédito.

En 2022, Stability AI anunció el lanzamiento público de Stable Diffusion, un modelo de imagen que es una alternativa transparente, abierta y escalable a la IA. Con el lanzamiento del conjunto de modelos StableLM, Stability AI continúa haciendo que la tecnología de IA central sea más accesible para todos.

La empresa afirma en su blog:

Los modelos lingüísticos formarán la columna vertebral de nuestra economía digital y queremos que todos tengan voz en su diseño. Modelos como StableLM demuestran nuestro compromiso con la tecnología de IA transparente, accesible y de apoyo”..

Rival ChatGPT, StableLM puede generar texto y código y ejecutará una variedad de aplicaciones posteriores. Después de los modelos alpha 3B y 7B, está prevista una gama de modelos del 15B al 65B.

Según Stability AI, “ La versión Alpha de código abierto de StableLM muestra el poder de la creación de prototipos pequeños y eficientes capaces de generar scripts y códigos de alto rendimiento de forma nativa en dispositivos personales”..

El conjunto de modelos StableLM se basa en modelos de lenguaje anteriores desarrollados con el centro de investigación sin fines de lucro EleutherAI. Estos lenguajes de muestra incluyen GPT-J, GPT-NeoX y la suite Pythia, que está entrenada en el conjunto de datos de código abierto The Pile, de Eleuther AI.

Mientras tanto, StableLM está entrenando en un nuevo conjunto de datos experimental construido sobre The Pile, pero tres veces más grande (1,5 billones de tokens de contenido).

Ejemplo producido por el modelo 7B

Stability pronto dará más información sobre StableLM. Para probarlo, además de encontrar una versión alfa en githuba prueba Alojado en Hugging Face.