Meta, qui développe l’un des plus grands modèles de langage open source fondamentaux, Llama, estime qu’il aura besoin de beaucoup plus de puissance de calcul pour entraîner des modèles à l’avenir.

Mark Zuckerberg a déclaré mardi lors de la conférence téléphonique sur les résultats du deuxième trimestre de Meta que pour entraîner Llama 4, la société aura besoin de 10 fois plus de calcul que ce qui a été nécessaire pour entraîner Llama 3. Mais il souhaite toujours que Meta renforce sa capacité à former des modèles plutôt que de prendre du retard sur ses concurrents.

« La quantité de calcul nécessaire pour entraîner Llama 4 sera probablement près de 10 fois supérieure à ce que nous avons utilisé pour entraîner Llama 3, et les futurs modèles continueront à se développer au-delà de cela », a déclaré Zuckerberg.

« Il est difficile de prédire comment cela va se transformer en plusieurs générations à l’avenir. Mais à ce stade, je préfère prendre le risque de renforcer les capacités avant qu’elles ne soient nécessaires plutôt que trop tard, étant donné les longs délais de lancement de nouveaux projets d’inférence.

Meta a sorti Llama 3 avec 80 milliards de paramètres en avril. La société a publié la semaine dernière une version améliorée du modèle, appelée Llama 3.1 405B, qui comportait 405 milliards de paramètres, ce qui en fait le plus grand modèle open source de Meta.

La directrice financière de Meta, Susan Li, a également déclaré que l’entreprise réfléchissait à différents projets de centres de données et au renforcement des capacités pour former les futurs modèles d’IA. Elle a déclaré que Meta s’attend à ce que cet investissement augmente les dépenses d’investissement en 2025.

L’entraînement de modèles de langage volumineux peut s’avérer coûteux. Les dépenses d’investissement de Meta ont augmenté de près de 33 % pour atteindre 8,5 milliards de dollars au deuxième trimestre 2024, contre 6,4 milliards de dollars un an plus tôt, grâce aux investissements dans les serveurs, les centres de données et l’infrastructure réseau.

Selon un rapport de L’information, OpenAI dépense 3 milliards de dollars en modèles d’entraînement et 4 milliards de dollars supplémentaires en location de serveurs à un taux réduit auprès de Microsoft.

« À mesure que nous développons la capacité d’entraînement de l’IA générative pour faire progresser nos modèles de base, nous continuerons à construire notre infrastructure de manière à ce que nous l’utilisions plus en plus flexible au fil du temps. Cela nous permettra d’orienter la capacité de formation vers l’inférence de l’IA ou vers notre travail de classement et de recommandation de base, lorsque nous pensons que cela serait plus précieux », a déclaré M. Li lors de l’appel.

Au cours de l’appel, Meta a également parlé de l’utilisation de Meta AI et a déclaré que l’Inde était le plus grand marché de son chatbot. Mais Li a noté que la société ne s’attend pas à ce que les produits Gen AI contribuent aux revenus de manière significative.