Google a annoncé aujourd’hui PaLM 2, doté de capacités multilingues, de raisonnement et de codage améliorées. Ce « modèle linguistique de nouvelle génération » est plus rapide, plus efficace et alimente 25 produits et fonctionnalités propriétaires.
En 2022, Google a annoncé le modèle de langage Pathways (ou PaLM) avec une architecture d’IA « Pathways » qui peut « entraîner un modèle unique à faire des milliers ou des millions de choses ».
PaLM 2 présente une « multilinguisme » améliorée car il a été « plus fortement formé sur le texte multilingue » dans plus de 100 langues. Cela se traduit par une capacité « considérablement améliorée » à comprendre, générer et traduire des textes nuancés comme des expressions idiomatiques, des poèmes et des énigmes.
En termes de raisonnement, l’ensemble de données de PaLM 2 comprend des articles scientifiques et des pages Web contenant des expressions mathématiques pour « des capacités améliorées en logique, en raisonnement de bon sens et en mathématiques ».
Enfin, il a été pré-entraîné sur une « grande quantité » d’ensembles de données de codes sources publics. Outre Python et JavaScript, cela inclut la génération de code spécialisé dans Prolog, Fortran et Verilog.
PaLM 2 sera disponible en quatre tailles avec des noms inspirés des animaux (Gecko, Otter, Bison et Unicorn) :
Gecko est si léger qu’il peut fonctionner sur les appareils mobiles et est suffisamment rapide pour de superbes applications interactives sur l’appareil, même hors ligne. Cette polyvalence signifie que PaLM 2 peut être ajusté pour prendre en charge des classes entières de produits de plusieurs manières, afin d’aider davantage de personnes.
Plus précisément, Gecko peut traiter 20 jetons par seconde et a été testé sur les derniers téléphones, bien que Google n’ait pas précisé sur quels appareils particuliers.
Lors de l’I/O 2023, Google a annoncé que PaLM 2 alimentait 25 produits. Il est déjà utilisé par Bard pour le codage, ainsi que pour l’extension au coréen et au japonais, ainsi que dans Workspace. Il existe également Med-PaLM 2 (« répondre aux questions et résumer les informations tirées d’une variété de textes médicaux denses ») et Sec-PaLM pour la cybersécurité. C’est également derrière Duet AI pour Google Cloud.
