Stability AI, la startup à l'origine de l'outil artistique d'IA générative Stable Diffusion, propose aujourd'hui en open source une suite de modèles d'IA générateurs de texte destinés à affronter des systèmes comme le GPT-4 d'OpenAI.
Appelé StableLM et disponible en « alpha » sur GitHub et Visage câlinune plate-forme d'hébergement de modèles et de codes d'IA, Stability AI affirme que les modèles peuvent générer à la fois du code et du texte et « démontrer comment des modèles petits et efficaces peuvent fournir des performances élevées avec une formation appropriée ».
« Les modèles linguistiques constitueront l'épine dorsale de notre économie numérique, et nous voulons que chacun ait son mot à dire dans leur conception », a écrit l'équipe Stability AI dans un communiqué. article de blog sur le site de l'entreprise.
Les modèles ont été formés sur un ensemble de données appelé The Pile, un mélange d'échantillons de texte récupérés sur Internet provenant de sites Web tels que PubMed, StackExchange et Wikipedia. Mais Stability AI affirme avoir créé un ensemble de formation personnalisé qui multiplie par 3 la taille de la pile standard.
Crédits images : IA de stabilité
Stability AI n'a pas précisé dans le billet de blog si les modèles StableLM souffraient des mêmes limitations que les autres, à savoir une tendance à générer des réponses toxiques à certaines invites et à halluciner (c'est-à-dire à inventer) des faits. Mais étant donné que The Pile contient un langage grossier, obscène et par ailleurs assez abrasif, il ne serait pas surprenant que tel soit le cas.
Ce journaliste a essayé de tester les modèles sur Hugging Face, qui fournit un frontal pour les exécuter sans avoir à configurer le code à partir de zéro. Malheureusement, j’obtenais à chaque fois une erreur « à capacité », ce qui pourrait être lié à la taille des modèles – ou à leur popularité.
« Comme c'est typique pour tout grand modèle de langage pré-entraîné sans ajustement supplémentaire ni apprentissage par renforcement, les réponses qu'un utilisateur obtient peuvent être de qualité variable et peuvent potentiellement inclure un langage et des vues offensants », a écrit Stability AI dans le dépôt de StableLM. « Cela devrait être amélioré grâce à une plus grande échelle, de meilleures données, des commentaires de la communauté et une optimisation. »
Néanmoins, les modèles StableLM semblent assez performants en termes de ce qu'ils peuvent accomplir, en particulier les versions affinées incluses dans la version alpha. Ajustés à l'aide d'une technique développée à Stanford appelée Alpaca sur des ensembles de données open source, notamment ceux de la startup d'IA Anthropic, les modèles StableLM affinés se comportent comme ChatGPT, répondant à des instructions (parfois avec humour) telles que « écrire une lettre de motivation pour un développeur de logiciels ». ou « écrivez les paroles d'une chanson de combat de rap épique ».
Le nombre de modèles de génération de texte open source augmente pratiquement de jour en jour, alors que les entreprises, grandes et petites, se disputent la visibilité dans l'espace de plus en plus lucratif de l'IA générative. Au cours de la dernière année, Meta, Nvidia et des groupes indépendants comme le projet BigScience soutenu par Hugging Face ont publié des modèles à peu près équivalents aux modèles « privés », disponibles via une API tels que GPT-4 et Claude d'Anthropic.
Certains chercheurs ont critiqué la publication de modèles open source tels que StableLM dans le passé, arguant qu'ils pourraient être utilisés à des fins peu recommandables, comme créer des e-mails de phishing ou faciliter des attaques de logiciels malveillants. Mais Stability AI soutient que l’open source est en fait la bonne approche.
«Nous rendons open source nos modèles pour promouvoir la transparence et favoriser la confiance. Les chercheurs peuvent « regarder sous le capot » pour vérifier les performances, travailler sur des techniques d'interprétabilité, identifier les risques potentiels et aider à développer des garanties », a écrit Stability AI dans le billet de blog. « Un accès ouvert et précis à nos modèles permet à la vaste communauté de recherche et universitaire de développer des techniques d'interprétabilité et de Sécurité au-delà de ce qui est possible avec des modèles fermés. »
Crédits images : IA de stabilité
Il y a peut-être une part de vérité là-dedans. Il a été démontré que même les modèles commercialisés et contrôlés comme GPT-4, qui ont des filtres et des équipes de modération humaines en place, jaillissent toxicité. Là encore, les modèles open source nécessitent plus d'efforts pour être modifiés et corrigés en arrière-plan, en particulier si les développeurs ne suivent pas les dernières mises à jour.
Quoi qu’il en soit, Stability AI n’a pas hésité à susciter la controverse, historiquement.
L’entreprise est dans la ligne de mire de légal cas qui allèguent qu'il a violé les droits de millions d'artistes en développant des outils artistiques d'IA utilisant des images protégées par le droit d'auteur et récupérées sur le Web. Et quelques communautés sur le Web ont exploité les outils de Stability pour générer des deepfakes pornographiques de célébrités et des représentations graphiques de la violence.
De plus, malgré le ton philanthropique de son article de blog, Stability AI est également sous pression pour monétiser ses efforts tentaculaires – qui couvrent toute la gamme de l’art et de l’animation à l’audio biomédical et génératif. Emad Mostaque, PDG de Stability AI, a laissé entendre aux projets d'introduction en bourse, mais Semafor a récemment signalé que Stability AI – qui a levé plus de 100 millions de dollars en capital-risque en octobre dernier pour une valorisation déclarée de plus d'un milliard de dollars – « brûle des liquidités et a mis du temps à générer des revenus ».
