Google IA développé un modèle de langage d’apprentissage profond appelé Minerve ce qui pourrait résoudre problèmes quantitatifs mathématiques en utilisant un raisonnement étape par étape.
Dans l’ article récemment publié Lié à Minerva, les chercheurs ont expliqué le développement de ce modèle d’apprentissage profond. Ils ont obtenu une solution de pointe en formant un modèle d’apprentissage profond sur un grand ensemble de données de formation qui contient un raisonnement quantitatif avec des expressions symboliques. Le modèle final, Minerva, pourrait résoudre des problèmes mathématiques quantitatifs sur des tâches de raisonnement STEM.
Minerva analyse la question à l’aide de traitement du langage naturel et les techniques de traitement de la notation mathématique. Il rappelle les formules pertinentes, les constantes et les solutions étape par étape impliquant le calcul numérique. Il génère des solutions qui incluent la manipulation symbolique et le calcul numérique sans s’appuyer sur une calculatrice pour obtenir les réponses finales. En générant différentes réponses au problème avec différentes probabilités attribuées, Minerva a utilisé le vote majoritaire pour sélectionner la réponse finale. L’image suivante montre un échantillon de la sortie de Minerva pour un problème mathématique quantitatif.
Exemple de réponse de Minerva à un problème mathématique
Minerva a été construit sur le Modèle de langage Pathways (PaLM, paramètre de 540 milliards, densément activé, modèle de langage de transformateur) avec plus d’ensembles de données mathématiques comme arXiv, texte contenant Latex et MathJax, ou d’autres formats mathématiques. Pour entraîner le modèle sur des données symboliques, les notations mathématiques symboliques sont conservées dans le jeu de données d’entraînement. Ce processus est illustré dans le diagramme suivant.
Les expressions mathématiques symboliques sont préservées pour la formation minerva
Pour comparer les performances de Minerva, des repères STEM allant du niveau de l’école primaire au niveau des études supérieures ont été utilisés. Les chercheurs ont utilisé des ensembles de données comme MATHÉMATIQUES (Problèmes de niveau de compétition de mathématiques au secondaire), MMLU-STEM (indice de référence massif de compréhension du langage multitâche axé sur les STEM, couvrant des sujets tels que l’ingénierie, la chimie, les mathématiques et la physique au niveau secondaire et collégial), et GSM8k (problèmes de mathématiques à l’école primaire impliquant des opérations arithmétiques de base résolvables par un élève talentueux du collège). Il montre des performances significatives sur MATH et MMLU-STEM comme il est montré dans les graphiques suivants:
L’une des limites importantes de Minerva est que les réponses du modèle ne pouvaient pas être évaluées automatiquement. Comme il est dit dans l’article de blog :
Notre approche du raisonnement quantitatif n’est pas fondée sur les mathématiques formelles. Minerva analyse les questions et génère des réponses en utilisant un mélange de langage naturel et Latex expressions mathématiques, sans structure mathématique sous-jacente explicite. Cette approche présente une limite importante, en ce sens que les réponses du modèle ne peuvent pas être vérifiées automatiquement. Même lorsque la réponse finale est connue et peut être vérifiée, le modèle peut arriver à une réponse finale correcte en utilisant des étapes de raisonnement incorrectes, qui ne peuvent pas être détectées automatiquement. Cette limitation n’est pas présente dans les méthodes formelles de démonstration des théorèmes (p. ex., voir Coq, Isabelle, HOL, Maigre, Metamathet Mizar).
Pour évangéliser NLP modèles de raisonnement quantitatif, Google AI a partagé un explorateur d’exemples interactif pour que le public puisse explorer les capacités de Minerva.
L’utilisation du traitement du langage naturel et de l’apprentissage profond dans le raisonnement mathématique est un domaine de recherche difficile. Il existe d’autres articles avec les codes sources dans ce domaine comme l’apprentissage du graphique à l’arborescence, Modèle neuronal structuré en arborescence axé sur les objectifs pour les problèmes de mots mathématiques. Papier avec code a également d’autres articles avec le code source dans ce domaine pour une lecture plus approfondie.
