Juste après le lancement de Gemini 1.0 Ultra avec le changement de nom Bard la semaine dernière, Google est de retour avec un nouveau modèle pour concurrencer GPT-4. C'est le Modèle Gémeaux 1.5 Prole successeur de Gemini 1.0 Pro qui alimente actuellement la version gratuite de Gemini (anciennement Bard).
Alors que la famille de modèles Gemini 1.0 dispose d'une fenêtre contextuelle allant jusqu'à 32 000 jetons, le modèle 1.5 Pro augmente la longueur de contexte standard jusqu'à 128 000 jetons. De plus, il prend en charge une énorme fenêtre contextuelle de jusqu'à 1 million de jetonsbien supérieur aux 128 000 jetons de GPT-4 Turbo et aux 200 000 jetons de Claude 2.1.
Gemini 1.5 Pro basé sur une architecture mixte d'experts (MoE)
Google affirme que le Gemini 1.5 Pro est un modèle de taille moyenne, mais il fonctionne presque de la même manière que le Gemini 1.0 Ultra tout en utilisant moins de calcul. Cela est rendu possible parce que le modèle 1.5 Pro est construit sur l'architecture Mixture-of-Experts (MoE), similaire au modèle GPT-4 d'OpenAI. C’est la première fois que Google publie un modèle MoE, au lieu d’un modèle dense unique.
Si vous n'êtes pas familier avec le concept d'architecture MoE, il se compose de plusieurs modèles experts plus petits qui sont activés en fonction de la tâche à accomplir. L'utilisation de modèles spécialisés pour des tâches spécifiques donne des résultats meilleurs et plus efficaces.
En ce qui concerne la grande fenêtre contextuelle de Gemini 1.5 Pro, il peut ingérer de grandes quantités de données en une seule fois. Google affirme que la longueur de contexte d'un million peut traiter 700 000 motsou 1 heure de vidéo, ou 11 heures d'audio, ou des bases de code avec plus de 30 000 lignes de code.
Pour tester la capacité de récupération de Gemini 1.5 Pro, étant donné qu'il dispose d'une très grande fenêtre contextuelle, Google a effectué la Aiguille dans une botte de foin défi, et selon l'entreprise, elle a rappelé l'aiguille (déclaration textuelle) 99% du temps.
Dans notre comparaison entre Gemini 1.0 Ultra et GPT-4, nous avons effectué le même test, mais Gemini 1.0 Ultra n'a tout simplement pas réussi à récupérer la déclaration. Nous allons certainement tester le nouveau modèle Gemini 1.5 Pro et partagerons les résultats.
Pour être clair, le modèle 1.5 Pro est actuellement en avant-première et seuls les développeurs et les clients peuvent tester le nouveau modèle en utilisant Studio d'IA et Vertex AI. Vous pouvez cliquer sur le lien pour rejoindre la liste d'attente. L'accès au modèle sera gratuit pendant la période de test.
