Google a annoncé une percée dans l’effort de création d’une architecture d’IA capable de gérer des millions de tâches différentes, y compris l’apprentissage et le raisonnement complexes. Le nouveau système s’appelle le Pathways Language Model, appelé PaLM.

PaLM est capable de surpasser l’état actuel de l’état actuel de l’IA ainsi que de battre les humains dans les tests de langage et de raisonnement.

Mais les chercheurs soulignent également qu’ils ne peuvent pas se débarrasser des limites inhérentes aux modèles de langages à grande échelle qui peuvent involontairement entraîner des résultats éthiques négatifs.

Informations générales

Les sections suivantes sont des informations de base qui clarifient ce qu’est cet algorithme.

Apprentissage à quelques coups

L’apprentissage à quelques coups est la prochaine étape de l’apprentissage qui va au-delà de l’apprentissage profond.

Hugo Larochelle, chercheur sur Google Brain (@hugo_larochelle) a indiqué dans une présentation intitulée : Généralisation à partir de quelques exemples avec le méta-apprentissage (vidéo) a expliqué qu’avec l’apprentissage profond, le problème est qu’ils ont dû collecter une grande quantité de données qui nécessitaient une quantité importante de travail humain.

Il a souligné que l’apprentissage profond ne sera probablement pas la voie vers une IA capable de résoudre de nombreuses tâches, car avec l’apprentissage profond, chaque tâche nécessite des millions d’exemples à partir desquels apprendre pour chaque capacité qu’une IA apprend.

Larochelle explique :

« … l’idée est que nous allons essayer d’attaquer ce problème très directement, ce problème d’apprentissage à peu de coups, qui est ce problème de généralisation à partir de petites quantités de données.

… l’idée principale dans ce que je vais présenter est qu’au lieu d’essayer de définir ce qu’est cet algorithme d’apprentissage par N et d’utiliser notre intuition quant à ce qui est le bon algorithme pour faire de l’apprentissage à quelques coups, mais essayez en fait d’apprendre cet algorithme de bout en bout.

Et c’est pourquoi nous appelons cela apprendre à apprendre ou j’aime l’appeler, méta-apprentissage.

L’objectif de l’approche à quelques coups est d’approximer la façon dont les humains apprennent différentes choses et peuvent appliquer les différents éléments de connaissance ensemble afin de résoudre de nouveaux problèmes qui n’ont jamais été rencontrés auparavant.

L’avantage est alors une machine qui peut tirer parti de toutes les connaissances dont elle dispose pour résoudre de nouveaux problèmes.

Dans le cas de PaLM, un exemple de cette capacité est sa capacité à expliquer une blague qu’il n’a jamais rencontrée auparavant.

Voies IA

En octobre 2021, Google a publié un article exposant les objectifs d’une nouvelle architecture d’IA appelée Pathways.

Pathways a représenté un nouveau chapitre dans les progrès continus dans le développement de systèmes d’IA.

L’approche habituelle consistait à créer des algorithmes qui étaient formés pour faire des choses spécifiques très bien.

L’approche Pathways consiste à créer un modèle d’IA unique qui peut résoudre tous les problèmes en apprenant à les résoudre, évitant ainsi la manière moins efficace de former des milliers d’algorithmes pour effectuer des milliers de tâches différentes.

Selon le document Pathways :

« Au lieu de cela, nous aimerions former un modèle capable non seulement de gérer de nombreuses tâches distinctes, mais aussi de tirer parti et de combiner ses compétences existantes pour apprendre de nouvelles tâches plus rapidement et plus efficacement.

De cette façon, ce qu’un modèle apprend en s’entraînant sur une tâche – par exemple, apprendre comment les images aériennes peuvent prédire l’altitude d’un paysage – pourrait l’aider à apprendre une autre tâche – par exemple, prédire comment les eaux de crue s’écouleront sur ce terrain.

Pathways a défini la voie à suivre par Google pour faire passer l’IA au niveau supérieur afin de combler l’écart entre l’apprentissage automatique et l’apprentissage humain.

Le nouveau modèle de Google, appelé Pathways Language Model (PaLM), est cette prochaine étape et, selon ce nouveau document de recherche, paLM représente un progrès significatif dans le domaine de l’IA.

Ce qui rend Google PaLM remarquable

PaLM met à l’échelle le processus d’apprentissage à quelques coups.

Selon le document de recherche:

« Il a été démontré que les grands modèles de langage atteignent des performances remarquables dans une variété de tâches en langage naturel en utilisant un apprentissage de quelques coups, ce qui réduit considérablement le nombre d’exemples de formation spécifiques à une tâche nécessaires pour adapter le modèle à une application particulière.

Pour approfondir notre compréhension de l’impact de l’échelle sur l’apprentissage à quelques coups, nous avons formé un modèle de langage Transformer de 540 milliards de paramètres, densément activé, que nous appelons Pathways Language Model (PaLM).

Il existe de nombreux articles de recherche publiés qui décrivent des algorithmes qui ne fonctionnent pas mieux que l’état actuel de la technique ou qui ne réalisent qu’une amélioration progressive.

Ce n’est pas le cas avec PaLM. Les chercheurs affirment des améliorations significatives par rapport aux meilleurs modèles actuels et surpassent même les repères humains.

Ce niveau de succès est ce qui rend ce nouvel algorithme remarquable.

Les chercheurs écrivent :

« Nous démontrons les avantages continus de la mise à l’échelle en obtenant des résultats d’apprentissage à la pointe de la technologie sur des centaines de repères de compréhension et de génération de langues.

Sur un certain nombre de ces tâches, le PaLM 540B atteint des performances révolutionnaires, surpassant l’état de l’art affiné sur une suite de tâches de raisonnement en plusieurs étapes et surpassant les performances humaines moyennes sur le benchmark BIG-bench récemment publié.

Un nombre important de tâches BIG-bench ont montré des améliorations discontinues par rapport à l’échelle du modèle, ce qui signifie que les performances ont fortement augmenté à mesure que nous évoluions vers notre plus grand modèle.

PaLM surpasse l’état de l’art dans les tâches de traitement du langage naturel anglais et cela rend PaLM important et notable.

Sur un benchmark collaboratif appelé BIG-bench composé de plus de 150 tâches (liées au raisonnement, à la traduction, à la réponse aux questions), PaLM a surpassé l’état de l’art, mais il y avait des domaines où il ne faisait pas aussi bien.

Il convient de noter que la performance humaine a dépassé paLM sur 35% des tâches, en particulier les tâches liées aux mathématiques (voir la section 6.2 BIG-bench du document de recherche, page 17).

PaLM était meilleur pour traduire une autre langue en anglais que de traduire l’anglais dans d’autres langues. Les chercheurs ont déclaré qu’il s’agit d’un problème courant qui pourrait être résolu en donnant la priorité à davantage de données multilingues.

Néanmoins, PaLM a à peu près surpassé les autres modèles de langage et les humains à tous les niveaux.

Capacité à raisonner

Il convient de noter en particulier sa performance avec des tâches d’arithmétique et de raisonnement de bon sens.

Exemple de tâche arithmétique :

Question:
Roger a 5 balles de tennis. Il achète 2 autres canettes de balles de tennis. Chaque canette dispose de 3 balles de tennis. Combien de balles de tennis a-t-il maintenant ?

Répondre:
La réponse est 11.

Exemple de raisonnement de bon sens :

Question:
Sean était pressé de rentrer à la maison, mais la lumière est devenue jaune et il a été forcé de faire quoi?
Choix de réponse : (a) prendre du temps (b) traîner (c) aller lentement (d) océan (e) ralentir

Répondre:
La réponse est (e) ralentir.

Génération d’explications

Un autre exemple extraordinaire de l’avancement du PaLM dans les tests de génération d’explications.

Voici comment le document de recherche l’explique :

« L’objectif de cette section est de présenter les capacités de PaLM en ce qui concerne la génération de langage explicatif, pour les invites qui nécessitent une combinaison complexe d’enchaînement d’inférence logique, de connaissance du monde, de compréhension du langage abstrait et de compréhension du langage lexicographique (par exemple, jeux de mots). »

Explications des blagues

Voici un exemple de modèle de langage expliquant une blague :

Plaisanterie:
J’allais prendre l’avion pour rendre visite à ma famille le 6 avril. Ma mère m’a dit : « Oh super, la lecture de poésie de ton beau-père, c’est ce soir-là ! »

Alors maintenant, je prends l’avion le 7 avril.

Explication du modèle :
La blague est que la mère de l’orateur essaie de les amener à aller à la lecture de poésie de leur beau-père, mais l’orateur ne veut pas y aller, alors ils changent leur vol pour le lendemain de la lecture de poésie.

Chaînage d’inférence

Voici un exemple de chaînage d’inférence, où plusieurs concepts et entités doivent être correctement joints et pris en compte pour créer une réponse.

« Entrée:
Guido écrivait un programme Python. Il ne cesse d’être confus par la portée variable et de la rechercher sur StackOverflow.

Est-il possible que le Guido dans l’invite se réfère à Guido van Rossum?

Sortie du modèle :
Guido van Rossum est le créateur de Python. Il n’aurait pas besoin de rechercher la portée variable sur StackOverflow. La réponse est « non ».

Voici un autre exemple :

« Entrée:
Jennifer regarda par sa fenêtre et vit un nuage vraiment frais en dessous d’elle. Elle déboucle sa ceinture de sécurité et se dirige vers la salle de bain. Jennifer voyage-t-elle probablement plus de 300 miles par heure par rapport à la terre?

Sortie du modèle :
300 miles par heure est d’environ 480 km / h. Il s’agit de la vitesse d’un avion commercial. Les nuages sont généralement sous les avions, donc Jennifer est probablement dans un avion.

La réponse est « oui ».

Moteur de recherche de nouvelle génération?

L’exemple ci-dessus de la capacité de PaLM pour le raisonnement complexe démontre comment un moteur de recherche de nouvelle génération peut être en mesure de répondre à des problèmes complexes réponses utilisant les connaissances d’Internet et d’autres sources.

Réaliser une architecture d’IA capable de produire des réponses qui reflètent le monde qui nous entoure est l’un des objectifs déclarés de Google Pathways et PaLM est un pas dans cette direction.

Cependant, les auteurs de la recherche ont souligné que PaLM n’est pas le dernier mot sur l’IA et la recherche. Ils ont été explicites en déclarant que PaLM est un premier pas vers le prochain type de moteur de recherche envisagé par Pathways.

Avant d’aller plus loin, il y a deux mots, le jargon pour ainsi dire, qu’il est important de comprendre pour comprendre ce qu’est le PaLM.

• Modalités
• Généralisation

Le mot «Modalités» est une référence à la façon dont les choses sont vécues ou à l’état dans lequel elles existent, comme le texte qui est lu, les images qui sont vues, les choses qui sont écoutées.

Le mot «généralisation« dans le contexte de l’apprentissage automatique concerne la capacité d’un modèle de langage à résoudre des tâches sur lesquelles il n’a pas été formé auparavant.

Les chercheurs ont noté:

« Le PaLM n’est que la première étape de notre vision visant à faire de Pathways l’avenir de la mise à l’échelle du ML chez Google et au-delà.

Nous pensons que PaLM démontre une base solide dans notre objectif ultime de développer un système modulaire à grande échelle qui aura de larges capacités de généralisation à travers de multiples modalités. »

Risques réels et considérations éthiques

Quelque chose de différent dans ce document de recherche est que les chercheurs mettent en garde contre les considérations éthiques.

Ils affirment que les modèles linguistiques à grande échelle formés sur les données Web absorbent bon nombre des stéréotypes « toxiques » et des disparités sociales qui se propagent sur le Web et ils affirment que le PaLM ne résiste pas à ces influences indésirables.

Le document de recherche cite un document de recherche de 2021 qui explore comment les modèles linguistiques à grande échelle peuvent promouvoir les dommages suivants :

1. Discrimination, exclusion et toxicité
2. Informations Dangers
3. La désinformation nuit
4. Utilisations malveillantes
5. L’interaction homme-machine nuit
6. Automatisation, accès et dommages environnementaux

Enfin, les chercheurs ont noté que le PaLM reflète effectivement des stéréotypes sociaux toxiques et indique clairement que le filtrage de ces biais est difficile.

Les chercheurs du PaLM expliquent :

« Notre analyse révèle que nos données de formation, et par conséquent PaLM, reflètent divers stéréotypes sociaux et associations de toxicité autour des termes d’identité.

Supprimer ces associations, cependant, n’est pas trivial… Les travaux futurs devraient viser à lutter efficacement contre ces biais indésirables dans les données et leur influence sur le comportement des modèles.

Dans le même temps, toute utilisation réelle de PaLM pour des tâches en aval devrait effectuer d’autres évaluations d’équité contextualisées afin d’évaluer les dommages potentiels et d’introduire des mesures d’atténuation et de protection appropriées.

PaLM peut être considéré comme un aperçu de ce à quoi ressemblera la prochaine génération de recherche. PaLM fait des affirmations extraordinaires pour surpasser l’état de l’art, mais les chercheurs affirment également qu’il reste encore du travail à faire, y compris trouver un moyen d’atténuer la propagation nocive de la désinformation, des stéréotypes toxiques et d’autres résultats indésirables.

Citation

Lire l’article du blog IA de Google sur paLM

Pathways Language Model (PaLM) : mise à l’échelle à 540 milliards de paramètres pour des performances révolutionnaires

Lire le document de recherche Google sur le PaLM

PaLM : Mise à l’échelle de la modélisation du langage avec Pathways (PDF)