Ce n’est pas une nouvelle que Mark Zuckerberg veuille mener la charge dans le métaverse émergent avec sa société, Meta (anciennement Facebook). L’événement Meta récemment conclu intitulé « Inside the lab : Building for the metaverse with AI » était une autre étape dans la quête de Meta pour déverrouiller le métaverse avec l’IA, après son annonce précédente qu’il développait un supercalculateur record pour alimenter le métaverse. Les experts ont déclaré que l’IA, la VR, la RA, la blockchain et la 5G convergeront pour alimenter le métaverse, et Zuckerberg tient à construire plusieurs énormes systèmes d’IA qui piloteront le monde naissant du métaverse.

« Chez Meta, nous travaillons sur de nombreuses technologies différentes, de la réalité virtuelle à la conception de nos propres centres de données. Et nous nous concentrons particulièrement sur les technologies fondamentales qui peuvent rendre possibles des choses entièrement nouvelles. Aujourd’hui, nous allons nous concentrer sur peut-être la technologie fondamentale la plus importante de notre époque : l’intelligence artificielle », a déclaré Zuckerberg.

Zuckerberg dit que les types d’expériences que nous aurons dans le métaverse vont au-delà de ce qui est possible aujourd’hui, décrivant le métaverse comme « une version immersive d’Internet ». Il a déclaré que le métaverse nécessitera des avancées dans toute une gamme de domaines – des nouveaux dispositifs matériels aux logiciels pour construire et explorer des mondes – et l’IA est la clé pour débloquer un grand nombre de ces avancées.

Une nouvelle approche de l’apprentissage auto-supervisé

Suite à la note d’introduction de Zuckerberg lors de l’événement, le leader de Facebook AI, Jérôme Pesenti, et la co-directrice générale de Facebook AI Research, Joelle Pineau, ont expliqué comment Meta veut déverrouiller le métaverse avec l’IA dans une session intitulée « Déverrouiller le métaverse avec l’IA et la science ouverte. Pesenti a noté que l’IA est l’une des clés du métaverse. Il a déclaré que la mission de Meta AI est de rapprocher le monde en faisant progresser l’IA grâce aux percées de la recherche sur l’IA et en améliorant les produits Meta grâce à elles.

Pesenti a déclaré que Meta AI fait des progrès significatifs dans des domaines critiques tels que l’incarnation et la robotique, la créativité et l’apprentissage auto-supervisé. Traditionnellement, l’apprentissage auto-supervisé – où les machines apprennent de la supervision humaine directe – était réalisé en enseignant aux systèmes orientés à effectuer une seule tâche en leur donnant de nombreux exemples générés par l’homme. Cependant, le défi de cette approche, selon Pesenti, est qu’elle dépend de la tâche. Dans cette approche, il n’est pas clair quand la machine comprend vraiment au-delà de la tâche étroite et nécessite beaucoup de travail humain qui peut introduire des biais indésirables.

Pesenti a déclaré que Meta AI évolue vers une autre approche auto-supervisée, où l’IA peut apprendre des données sans aucune supervision humaine.

« Par exemple, lorsqu’il s’agit de langage, le système d’IA peut supprimer des mots du texte d’entrée et essayer de les obtenir en déduisant des modèles dans les mots environnants. Au fur et à mesure que le système d’IA s’améliore, il améliore également sa compréhension de la signification et de la structure du langage. C’est l’un des principaux avantages de ce modèle auto-supervisé : il est indépendant des tâches, de sorte qu’un seul modèle peut être exploité avec un minimum de réglages fins pour effectuer plusieurs tâches en aval. Le modèle peut aider à faire des choses comme identifier le discours de haine, tout en garantissant que votre fil d’actualités dans les résultats de recherche ne déclenchera pas d’événements. »

Pesenti a partagé qu’avec la percée de la recherche de Meta AI, l’apprentissage auto-supervisé n’est plus limité au langage. « Au cours des six derniers mois, les chercheurs de Meta AI et du reste de l’industrie ont également montré des résultats étonnants dans la compréhension des images vocales », a-t-il déclaré.

Les chercheurs de Meta AI ont réussi à obtenir des techniques auto-supervisées qui fonctionnent remarquablement bien pour les images, où ils prennent une image divisée en petits patchs, sonnent 80% de ces patchs et demandent à l’IA de reconstruire l’image, a déclaré Pesenti. Il a ajouté que les chercheurs de Meta AI ont montré que cette nouvelle technique auto-supervisée, combinée à une quantité minimale de données annotées, est compétitive par rapport aux approches traditionnelles qui utilisent beaucoup plus de supervision humaine.

Il a déclaré que Meta AI commençait à créer des modèles unifiés capables de comprendre plusieurs modalités en même temps : ils peuvent lire sur les lèvres tout en écoutant pour une meilleure reconnaissance vocale, ou identifier les publications sur les réseaux sociaux qui enfreignent les politiques en analysant tous les composants : texte, image ou vidéo. – en même temps. Mais Meta AI ne s’arrêtera pas là, selon Pesenti.

« Nous ne voulons pas seulement des modèles d’IA qui comprennent le langage, les images et les vidéos. Nous voulons des modèles d’IA qui comprennent tout le monde qui nous entoure. Et avec l’avènement du métaverse, nous avons un défi unique et une opportunité unique pour y arriver.

Pineau pense que le métaverse inaugure divers nouveaux défis. Elle a déclaré que la plupart des progrès rapides de l’IA de la dernière décennie sont profondément ancrés dans Internet, il n’est donc pas surprenant que nous ayons vu le plus de progrès pour les modalités de données telles que la parole, le langage et la vision – qui sont les modalités natives pour le l’Internet.

Cependant, AR et VR présentent des expériences et des offres différentes et beaucoup plus importantes. « Par exemple, le mouvement des mains aux visages en passant par tout le corps devient un vecteur majeur pour donner et recevoir des informations. Cela ouvre de nouvelles opportunités fascinantes et nécessite également des progrès majeurs dans nos modèles d’IA », a déclaré Pineau.

Bien que Pesenti partage l’objectif de construire des modèles unifiés, Pineau a noté que ce n’est pas tout à fait suffisant, ajoutant qu’il est essentiel de progresser dans la construction de modèles mondiaux. Elle a déclaré que « construire un modèle mondial » est une construction dont les chercheurs en IA parlent depuis des années.

« L’idée est de construire une représentation riche qui peut être utilisée non seulement pour faire des prédictions, mais aussi pour faire avancer l’avenir et comparer des choix alternatifs d’actions ou d’interventions. Alors que nous nous dirigeons vers la construction d’agents d’IA capables de fonctionner de manière fluide dans la réalité réelle, la réalité augmentée et la réalité virtuelle, nos modèles mondiaux devront être entraînés avec un mélange de données statiques préenregistrées, comme les modèles supervisés, mais aussi un flux de données interactives. expériences », a-t-elle déclaré.

Il y a encore de l’incertitude, car Pineau admet que Meta AI ne connaît pas encore toutes les nouvelles méthodes et algorithmes qu’elle développera dans les années à venir – mais elle a noté qu’elle sait déjà que quelques directions de recherche sont prêtes pour de grands changements. L’une de ces directions est l’incarnation et la robotique. Pineau a déclaré que Meta AI se penche sur la robotique car c’est un cas fantastique où les modèles mondiaux peuvent faire une différence majeure. L’objectif, a noté Pineau, est de réaliser ce qu’on appelle la « robotique illimitée » – des robots qui sortent du laboratoire ou d’environnements très contraints tels que les usines, et sont capables de fonctionner de manière fluide à la maison et au bureau, en interagissant avec les humains et les objets comme naturellement que possible.

« Une étape importante alors que nous construisons des robots qui apprennent d’une interaction riche est que nous avons besoin du robot lui-même physiquement pour améliorer sa capacité à percevoir le monde par le toucher. »

Meta AI a expérimenté de nouveaux capteurs tactiles, en partenariat avec des chercheurs de l’Université Carnegie Mellon et du MIT pour créer des capteurs qui utilisent des techniques d’IA pour déduire l’emplacement du contact et mesurer les forces de contact grâce aux changements d’image enregistrés par une caméra dans les capteurs, respectivement. Par rapport aux capteurs tactiles commerciaux actuellement disponibles, Pineau a déclaré que le capteur numérique créé en partenariat avec le MIT est beaucoup moins cher à fabriquer.

L’un des défis que Meta AI veut résoudre est de créer des modèles qui peuvent fonctionner à la fois dans le monde réel via des robots/objets physiques et des mondes virtuels, permettant aux avatars de choisir et de manipuler des objets de manière réaliste – et d’assurer la cohérence de l’un à l’autre. Meta AI reconnaît un grand écart entre la simulation et le monde réel, et s’investit pour combler l’écart entre la réalité et la réalité virtuelle, où il peut former et tester de nouveaux algorithmes pour la navigation et la manipulation de robots avec une détection et une interaction réalistes avec l’espace et les objets.

Alors que Pineau a convenu qu’il y a beaucoup de travail à faire pour construire des modèles mondiaux vraiment fiables, elle a noté qu’il y a une question intéressante à savoir s’il est nécessaire que les modèles mondiaux soient précis tout le temps. Pour répondre à cela, Meta AI développe un projet qui lui permet de « se pencher sur l’enfant intérieur que nous avons tous en nous et d’être créatif », plutôt que d’essayer de ressentir et de recréer le monde réel.

« Ce n’est que le début, et vous pouvez vous attendre à en voir beaucoup plus alors que nous explorons de nouvelles façons dont les modèles d’IA peuvent améliorer la créativité humaine », a-t-elle déclaré.

Open-sourcer ses plans

Pineau a déclaré que Meta AI ouvrira ses plans, les rendant accessibles aux équipes de recherche du monde entier. « Avec la plupart de nos travaux de recherche, nous avons construit et publié une bibliothèque open source – dans ce cas, la bibliothèque PyTorch – qui comprend plusieurs fonctionnalités telles que la détection du glissement tactile, l’estimation, les pattes du robot et l’objet lui-même, peuvent tous être inclus dans le cadre d’un système plus large avec navigation et autres capacités robotiques », a-t-elle déclaré.

Alors que Meta se lance dans un nouveau voyage pour construire l’IA pour un « métaverse interactif incarné », Pineau a noté que l’entreprise doit relever la barre sur la façon dont cela est fait et sur les valeurs qu’elle promouvra dans sa conception et sa technologie. En accord avec Pineau, Pesenti a déclaré que Meta élèvera la barre grâce à un engagement indéfectible à créer des systèmes et des technologies d’IA qui suivent les meilleures pratiques, responsabilités et modèles qui sont justes, inclusifs, transparents et donnent aux utilisateurs plus de contrôle tout en protégeant leur vie privée.

Selon Pesenti, ces meilleures pratiques ne sont pas faciles à définir car les problèmes impliquent souvent des problèmes sociétaux complexes. « C’est pourquoi il est important pour nous d’être transparents sur notre travail et de le partager avec l’ensemble de la communauté responsable de l’IA pour obtenir leurs commentaires et tirer parti de leur expertise », a-t-il déclaré.

Dans son cheminement vers ce qu’il appelle «l’IA responsable», il semble que Meta veuille résoudre certains des problèmes de confidentialité auxquels il a été confronté au fil des ans en incorporant les commentaires de sa communauté open source.

« Nous sommes également ravis d’annoncer que Meta AI est en open source TorchRec, la bibliothèque de recommandations qui alimente bon nombre de nos produits. TorchRec démontre l’engagement de Meta AI envers la transparence de l’IA et la science ouverte. Il est disponible dans la bibliothèque PyTorch et fournit des primitives communes de parcimonie et de parallélisme, permettant aux chercheurs de créer la même personnalisation de pointe qui est utilisée par le fil d’actualité Facebook et par les bobines Instagram aujourd’hui. Ce ne sont là que quelques étapes concrètes d’un long voyage vers une IA plus responsable », a déclaré Pesenti.