Un pivot

L’accent mis par Meta sur son infrastructure est un bon signe pour la croissance et la longévité de l’entreprise, a déclaré Ray « R » Wang, fondateur et analyste chez Constellation Research.

« Meta est au bon endroit maintenant », a-t-il déclaré.

L’investissement permet à l’entreprise de se tourner davantage vers l’IA et de s’éloigner de son intense concentration de ces dernières années sur le monde métaverse des applications de réalité virtuelle et augmentée, a déclaré Wang.

Ce changement de direction intervient après que Meta a dépensé quelque 36 milliards de dollars pour construire le métaverse en injectant cet argent dans sa division Reality Labs. Mais, malgré la somme importante qu’il a dépensée pour la division, Meta a obtenu peu de retours sur les dépenses.

Cependant, le dévouement de Meta à la technologie de l’IA n’est pas un cours entièrement nouveau car il utilise le système de recommandation de l’IA et d’autres systèmes depuis près de deux décennies.

Par exemple, le fil d’actualité de Facebook, longtemps alimenté par l’IA, a été lancé en 2005. Meta en 2016 a également rendu PyTorch, un cadre d’apprentissage automatique pour les réseaux de neurones profonds et la recherche en apprentissage profond qui sous-tend toutes les charges de travail d’IA de Facebook, open source. En décembre dernier, Meta a publié PyTorch 2.0.

« C’est vraiment une évolution pour nous », a déclaré la vice-présidente de l’ingénierie de Meta, Aparna Ramani, lors d’une table ronde en streaming lors de la conférence @Scale de Meta le 18 mai. « Ce qui change maintenant, c’est que le rythme de l’innovation augmente très rapidement. »

La voie actuelle de Meta consistant à utiliser l’automatisation et l’IA pour créer des gains d’efficacité est « intelligente pour son avenir ». Wang a dit.

Même les récents licenciements de Meta étaient la bonne décision pour l’avenir de l’entreprise, a déclaré Wang, ajoutant que l’entreprise était quelque peu gonflée en termes de talents et qu’elle pouvait désormais se concentrer davantage sur l’attraction des bons talents.

Le PDG Mark Zuckerberg a déclaré en mars que la société prévoyait de supprimer environ 11 000 emplois d’ici mai. Certains de ces postes ont été supprimés en avril. D’autres licenciements interviendront la semaine prochaine.

« Maintenant, ils doivent prioriser quoi faire avec leur réseau », a déclaré Wang.

Ainsi, alors qu’il se concentre sur la construction d’une infrastructure solide qui peut servir à la fois les initiatives d’IA et de métaverse, Meta peut continuer à travailler tranquillement sur le métaverse loin des yeux du public.

« Ils peuvent faire les deux à la fois car l’IA est à la base du métaverse », a déclaré Wang. « Ils doivent renforcer l’infrastructure pour le métaverse. »

Une puce IA personnalisée

La première étape dans la construction de cette fondation consiste à créer une puce de silicium.

MTIA est la puce d’accélération personnalisée de Meta. La puce aidera le géant de la technologie à offrir de meilleures performances et une meilleure efficacité pour chaque charge de travail à l’aide de GPU.

Avec MTIA, Meta vise à améliorer l’expérience utilisateur dans les applications Facebook, Instagram et WhatsApp de Meta.

L’accélérateur aidera à fournir des prédictions plus précises et intéressantes, à augmenter le temps de visionnage et à améliorer le taux de clics, selon Meta.

MTIA répond à un besoin de charges de travail de développeur que ni les CPU ni les GPU ne peuvent, a déclaré Meta. De plus, sa pile logicielle est intégrée à Pytorch.

MTIA est un moyen pour Meta de passer à sa prochaine ère de spécialisation, a déclaré Chirag Dekate, analyste chez Gartner.

Bien que les GPU soient flexibles, une puissance de calcul toujours plus importante est nécessaire pour alimenter les dernières techniques d’IA génératives et les grands modèles de langage. Par conséquent, des géants de la technologie tels que Meta et Google, avec son TPU, ont commencé à concevoir de nouvelles techniques pour gérer ces modèles beaucoup plus volumineux.

« Ils prennent certains de ces réseaux de neurones et créent des points communs d’identification dans leur mélange de charges de travail et créent des cas spécifiques », a ajouté Dekate.

La nouvelle puce de silicium AI de Meta vise également à être plus native de l’IA, a-t-il déclaré.

« Ce n’est pas la technologie d’hier », a poursuivi Dekate. « Il s’agit d’innover les plates-formes modèles de demain, les produits modèles et l’écosystème modèle. »

Par exemple, la stratégie métaverse de Meta implique une expérience et un écosystème hautement immersifs. Cela impliquera probablement non seulement des casques VR/AR, mais aussi des mondes avec des avatars avec des options linguistiques plus nombreuses et meilleures et des mouvements plus réalistes. Cependant, il sera difficile d’ajouter des plateformes publicitaires dans un écosystème métaverse avec son infrastructure actuelle.

Par conséquent, Meta fera probablement évoluer sa stratégie matérielle pour développer différentes familles de puces qui permettent la formation et l’accélération de l’inférence des modèles d’IA générative et de l’IA multimodale qui aideront Meta à créer une meilleure expérience métaverse, a déclaré Dekate.

« Ces expériences nécessitent d’assembler des modèles de vision, des modèles de parole et la PNL [natural-language understanding] techniques », a-t-il déclaré.

« Il ne s’agit pas seulement de résoudre des techniques d’IA génératives », a ajouté Dekate. « Il s’agit d’utiliser un grand nombre de ces techniques comme blocs de construction et de créer des écosystèmes natifs d’IA plus vastes dans lesquels Meta se spécialise, en particulier dans sa vision du métaverse », a-t-il déclaré.

Viser l’avenir

Cependant, la construction de puces personnalisées est une entreprise coûteuse que seuls Meta, Google et AWS peuvent entreprendre en raison de leurs ressources monétaires.

« L’échelle de l’IA dans leur organisation est si grande et, plus important encore, ils ont une compréhension précise des problèmes qu’ils doivent résoudre non seulement aujourd’hui, mais dans leur avenir axé sur l’IA », a déclaré Dekate.

Ces problèmes incluent des recherches sur la façon d’optimiser les modèles de langage et les plates-formes de Meta – y compris Facebook, Instagram et WhatsApp – avec des publicités ciblées. En tant qu’entreprise technologique avec une telle portée sociale, Meta doit résoudre le problème de s’assurer que ses modèles linguistiques peuvent s’étendre à de nombreuses langues du monde, en utilisant la vidéo, l’audio et les images pour déployer les bonnes publicités auprès des bonnes populations.

Meta utilise ce qu’il apprend de ces plates-formes pour créer de futures plates-formes immersives à grande échelle (y compris celles pour le métaverse), a déclaré Dekate.

Une partie de cette stratégie est le centre de données de nouvelle génération. Le nouveau centre de données sera une conception optimisée pour l’IA qui prend en charge le matériel d’IA refroidi par liquide et un réseau d’IA haute performance, selon Meta.

Meta a également révélé qu’il avait terminé la construction de la deuxième phase de son supercalculateur d’IA, le Research SuperCluster (RSC). Cela a permis à l’entreprise technologique de former de grands modèles d’IA, tels que son grand modèle de langage, LLaMA, sur le supercalculateur.

Plus tôt cette année, Meta a rendu LLaMA disponible en tant que modèle open source, se dirigeant dans une direction que Microsoft, Google et le créateur de ChatGPT OpenAI ont évité, citant les risques associés à l’utilisation abusive des modèles.

« En open source LlaMA, Meta espère accélérer l’innovation », a déclaré Karl Freund, analyste chez Cambrian AI.

Malgré les critiques pour son choix de rendre la technologie open source, le choix de Meta avec LLaMA montre comment il espère se hisser au sommet de l’industrie de l’IA.

« Meta veut utiliser l’IA dans tous ses produits et être un leader dans la création de nouveaux LLM », a déclaré Freund, ajoutant qu’au-delà de ses nombreux produits à usage interne, Meta prévoit de développer des modèles d’IA massifs et de les publier en open source pour permettre une large l’adoption de la méta technologie dans l’ensemble de l’industrie.

« Nous construisons une infrastructure avancée pour l’IA depuis des années maintenant, et ce travail reflète des efforts à long terme qui permettront encore plus d’avancées et une meilleure utilisation de cette technologie dans tout ce que nous faisons », a déclaré Zuckerberg dans un communiqué fourni aux médias.

Esther Ajao est une rédactrice spécialisée dans les logiciels et les systèmes d’intelligence artificielle.