Google a annoncé aujourd’hui PaLM 2, avec des capacités multilingues, de raisonnement et de codage améliorées. Ce « modèle de langage de nouvelle génération » est plus rapide, plus efficace et alimente 25 produits et fonctionnalités propriétaires.
En 2022, Google a annoncé le Pathways Language Model (ou PaLM) avec une architecture d’IA « Pathways » qui peut « entraîner un seul modèle à faire des milliers ou des millions de choses ».
PaLM 2 offre une «multilinguisme» améliorée car elle a été «plus fortement formée sur le texte multilingue» dans plus de 100 langues. Cela se traduit par une capacité « considérablement améliorée » à comprendre, générer et traduire des textes nuancés comme des idiomes, des poèmes et des énigmes.
En termes de raisonnement, l’ensemble de données de PaLM 2 comprend des articles scientifiques et des pages Web avec des expressions mathématiques pour « des capacités améliorées en logique, en raisonnement de bon sens et en mathématiques ».
Enfin, il a été pré-formé sur une « grande quantité » d’ensembles de données de code source public. Outre Python et JavaScript, cela inclut la génération de code spécialisé dans Prolog, Fortran et Verilog.
PaLM 2 sera disponible en quatre tailles avec des noms inspirés des animaux (Gecko, Otter, Bison et Unicorn) :
Gecko est si léger qu’il peut fonctionner sur des appareils mobiles et est suffisamment rapide pour de superbes applications interactives sur l’appareil, même hors ligne. Cette polyvalence signifie que PaLM 2 peut être ajusté pour prendre en charge des classes entières de produits de plusieurs façons, pour aider plus de personnes.
Plus précisément, Gecko peut traiter 20 jetons par seconde et a été testé sur les derniers téléphones, bien que Google n’ait pas précisé quels appareils particuliers.
Lors de l’I/O 2023, Google a partagé que PaLM 2 alimente 25 produits. Il est déjà utilisé par Bard pour le codage, ainsi que pour l’extension au coréen et au japonais, et dans Workspace. Il y a aussi Med-PaLM 2 (« répondre aux questions et résumer les idées d’une variété de textes médicaux denses ») et Sec-PaLM pour la cybersécurité. Il est également à l’origine de Duet AI pour Google Cloud.
