Groq, une start-up qui développe des puces pour exécuter des modèles d’IA générative plus rapidement que les processeurs conventionnels, a déclaré lundi avoir levé 640 millions de dollars lors d’un nouveau tour de table mené par Blackrock. Neuberger Berman, Type One Ventures, Cisco, KDDI et Samsung Catalyst Fund ont également participé.

La tranche, qui porte le total levé par Groq à plus d’un milliard de dollars et valorise la société à 2,8 milliards de dollars, est une victoire majeure pour Groq, qui aurait été à l’origine cherchant à lever des fonds 300 millions de dollars à un légèrement inférieur (2,5 milliards de dollars). Elle fait plus que doubler la valorisation précédente de Groq (~1 milliard de dollars) en avril 2021, lorsque la société a levé 300 millions de dollars lors d’un tour de table mené par Tiger Global Management et D1 Capital Partners.

Yann LeCun, scientifique en chef de l’IA chez Meta, servira de conseiller technique à Groq et Stuart Pann, ancien responsable de l’activité fonderie d’Intel et ancien DSI de HP, rejoindra la startup en tant que directeur de l’exploitation, a également annoncé aujourd’hui Groq. La nomination de LeCun est un peu inattendue, compte tenu des investissements de Meta dans ses propres puces d’IA – mais elle donne sans aucun doute à Groq un allié puissant dans un espace impitoyable.

Groq, qui a émergé de la furtivité en 2016, crée ce qu’elle appelle un moteur d’inférence LPU (unité de traitement du langage). La société affirme que ses LPU peuvent exécuter des modèles d’IA générative existants dont l’architecture est similaire à celle de ChatGPT et GPT-4o d’OpenAI à 10 fois la vitesse et un dixième de l’énergie.

Jonathan Ross, PDG de Groq, a contribué à l’invention de l’unité de traitement tensoriel (TPU), la puce accélératrice d’IA personnalisée de google utilisée pour former et exécuter des modèles. Ross s’est associé à Douglas Wightman, un entrepreneur et ancien ingénieur du laboratoire X moonshot de la société mère de Google, Alphabet, pour cofonder Groq il y a près de dix ans.

Groq fournit une plate-forme de développement alimentée par LPU appelée GroqCloud qui propose des modèles « ouverts » comme la famille Llama 3.1 de Meta, Gemma de Google, Whisper d’OpenAI et Mistral, ainsi qu’une API qui permet aux clients d’utiliser ses puces dans des instances cloud. (Groq héberge également un terrain de jeu pour les chatbots alimentés par l’IA, GroqChat, qu’il a lancé à la fin de l’année dernière.) En juillet, GroqCloud comptait plus de 356 000 développeurs. Groq affirme qu’une partie des recettes du tour de table sera utilisée pour augmenter la capacité et ajouter de nouveaux modèles et fonctionnalités.

« Beaucoup de ces développeurs sont de grandes entreprises », a déclaré Stuart Pann, directeur de l’exploitation de Groq, à TechCrunch. « Selon nos estimations, plus de 75 % des entreprises du Fortune 100 sont représentées. »

Alors que le boom de l’IA générative se poursuit, Groq est confronté à une concurrence croissante de la part de ses concurrents et de Nvidia, le redoutable acteur historique du secteur du matériel d’IA.

Nvidia contrôle environ 70 % à 95 % du marché des puces d’IA utilisées pour former et déployer des modèles d’IA générative, et l’entreprise prend des mesures agressives pour maintenir sa dominance.

Nvidia s’est engagé à publier une nouvelle architecture de puce d’IA chaque année, plutôt que tous les deux ans comme c’était le cas par le passé. Et c’est supposément la création d’une nouvelle unité commerciale axée sur la conception de puces sur mesure pour les entreprises de cloud computing et autres, y compris le matériel d’IA.

Au-delà de Nvidia, Groq est en concurrence avec Amazon, Google et Microsoft, qui proposent tous – ou proposeront bientôt – des puces personnalisées pour les charges de travail d’IA dans le cloud. Amazon a ses processeurs Trainium, Inferentia et Graviton, disponibles via AWS ; Les clients de Google Cloud peuvent utiliser les TPU susmentionnés et, à terme, la puce Axion de Google ; et Microsoft a récemment lancé des instances Azure en préversion pour son processeur Cobalt 100, et les instances Maia 100 AI Accelerator seront disponibles dans les prochains mois.

Groq pourrait également considérer Arm, Intel, AMD et un nombre croissant de startups comme des rivaux, dans un marché des puces d’IA qui pourrait atteindre 400 milliards de dollars de ventes annuelles au cours des cinq prochaines années, selon certains analystes. Arm et AMD en particulier ont des activités florissantes dans le domaine des puces d’IA, grâce à Envolée des dépenses d’investissement par les fournisseurs de cloud pour répondre à la demande de capacité d’IA générative.

D-Matrix à la fin de l’année dernière Soulevées 110 millions de dollars pour commercialiser ce qu’il caractérise comme une plate-forme de calcul d’inférence unique en son genre. En juin, Etched est sorti de la furtivité avec 120 millions de dollars pour un processeur construit sur mesure pour accélérer l’architecture dominante du modèle d’IA générative aujourd’hui, le transformateur. Masayoshi Son de SoftBank est supposément cherchant à lever 100 milliards de dollars pour une entreprise de puces afin de concurrencer Nvidia. Et OpenAI, c’est dit Être en pourparlers avec Investment FIRms pour lancer une initiative de fabrication de puces d’IA.

Pour se tailler une place, Groq investit massivement dans les entreprises et les gouvernements.

En mars, Groq a acquis Definitive Intelligence, une société basée à Palo Alto offrant une gamme de solutions d’IA orientées métiers, pour former une nouvelle unité commerciale appelée Groq Systems. Dans le cadre de la compétence de Groq Systems, il s’agit d’aider les organisations, y compris les agences gouvernementales américaines et les nations souveraines, qui souhaitent ajouter les puces de Groq aux centres de données existants ou construire de nouveaux centres de données à l’aide des processeurs Groq.

Plus récemment, Groq s’est associé à Carahsoft, un sous-traitant informatique du gouvernement, pour vendre ses solutions à des clients du secteur public par l’intermédiaire des partenaires revendeurs de Carahsoft, et la startup a une lettre d’intention pour installer des dizaines de milliers de ses LPU dans le centre de données norvégien de la société européenne Earth Wind & Power.

Groq collabore également avec le cabinet de conseil saoudien Aramco Digital pour installer des LPU dans les futurs centres de données du Moyen-Orient.

En même temps qu’elle établit des relations avec ses clients, Groq, basée à Mountain View, en Californie, se dirige vers la prochaine génération de sa puce. En août dernier, la société a annoncé qu’elle signerait un contrat avec la société de semi-conducteurs Global Foundries pour fabriquer des LPU de 4 nm, qui devraient offrir des gains de performance et d’efficacité par rapport aux puces 13 nm de première génération de Groq.

Groq prévoit de déployer plus de 108 000 LPU d’ici la fin du premier trimestre 2025.